GigaWorld-Policy:一个高效的以行动为中心的世界-行动模型
World Action Models (WAMs) 通过共同模拟动作和未来的视觉观测，利用未来场景演变作为密集的监督来生成物理上有依据的动作，从而改进了机器人策略学习。然而，现有 WAM 的一个常见设计是在推理时明确生成未来视频，这会带来大量的计算开销，并阻碍了实时闭环部署。GigaWorld-Policy 解决了这个问题，采用了以动作为中心的表述，在训练期间使用未来的视觉动态，而在推理时则使用仅生成动作的解码。在该框架的基础上，我们提出了 GigaWorld-Policy-0.5，这是一种专为更高效的机器人控制而设计的增强型动作中心 WAM。在预训练期间，GigaWorld-Policy-0.5 采用了混合动作条件世界建模 (AC-WM) 和 WAM 训练策略。这加强了视觉动态与机器人动作之间的耦合，并提高了动作表示的可迁移性，从而有利于下游策略学习。为了提高推理效率，GigaWorld-Policy-0.5 引入了混合转换器架构，将视觉动态建模和动作生成分离为专门的专家，在仅生成动作的推理过程中减少了活动计算，并在本地 RTX 4090 设置上实现了 85 毫秒的推理延迟。此外，我们采用了基于代理的 AutoResearch 流程，系统地搜索训练配置，从而更有效地确定最优实验设置，同时减少了调优超参数所需的时间和人工干预。实验和剔除分析表明，GigaWorld-Policy-0.5 在保留了未来视觉动态的训练优势的同时，还提高了机器人控制的推理效率。
暂无开放 Issues，或尚未同步最近议题。