GigaWorld-Policy-0.5: A Faster and Stronger WAM Empowered by AutoResearch
作者: GigaWorld Team, Angen Ye, Angyuan Ma, Boyuan Wang, Chaojun Ni, Fangzheng Ye, Guan Huang, Guo Li, Guosheng Zhao, Haodong Yan, Hengtao Li, Jiwen Lu, Kai Wang, Mingming Yu, Qitang Hu, Qiuping Deng, Songling Liu, Xiaoyu Tian, Xiaofeng Wang, Xinyu Zhou, Xiuwei Xu, Xinze Chen, Yang Wang, Yejun Zeng, Yifan Chang, Yun Ye, Zhenyu Wu, Zhanqian Wu, Zheng Zhu
分类: cs.RO
发布日期: 2026-07-15
备注: project page: https://open-gigaai.github.io/giga-world-policy/
💡 一句话要点
提出GigaWorld-Policy-0.5以解决WAM推理效率低下问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界动作模型 机器人控制 推理效率 混合变换器 动作中心化 AutoResearch 视觉动态建模
📋 核心要点
- 现有WAM在推理时需要显式生成未来视频，导致计算开销大，影响实时应用。
- GigaWorld-Policy-0.5采用动作中心化的训练策略，在推理时仅解码动作，从而提高效率。
- 实验结果显示，该方法在推理延迟上达到85毫秒，显著提升了机器人控制的效率。
📝 摘要（中文）
世界动作模型（WAM）通过联合建模动作和未来视觉观察，改善机器人策略学习。然而，现有WAM在推理时显式生成未来视频，导致计算开销大，影响实时闭环部署。GigaWorld-Policy通过动作中心化的形式解决了这一问题，在训练中使用未来视觉动态，而在推理时仅进行动作解码。GigaWorld-Policy-0.5在此基础上进行了增强，采用混合的动作条件世界建模和WAM训练策略，提升了视觉动态与机器人动作之间的耦合性，并引入了混合变换器架构，优化了推理效率，达到了85毫秒的推理延迟。此外，采用基于代理的AutoResearch管道，系统性搜索训练配置，减少超参数调优的时间和人工干预。实验表明，GigaWorld-Policy-0.5在保持未来视觉动态训练优势的同时，提高了机器人控制的推理效率。
🔬 方法详解
问题定义：本论文旨在解决现有世界动作模型（WAM）在推理阶段显式生成未来视频所带来的高计算开销问题。这种设计限制了实时闭环控制的应用，影响了机器人策略的有效性。
核心思路：论文提出了一种动作中心化的框架，在训练阶段利用未来视觉动态，而在推理阶段仅进行动作解码。这种设计减少了推理时的计算需求，从而提升了实时性能。
技术框架：GigaWorld-Policy-0.5的整体架构包括混合的动作条件世界建模（AC-WM）和WAM训练策略，增强了视觉动态与机器人动作的耦合性。同时，采用混合变换器架构，将视觉动态建模与动作生成分离为专门的专家模块，以优化推理效率。
关键创新：该研究的主要创新在于引入了混合变换器架构和基于代理的AutoResearch管道。这与现有方法的本质区别在于，前者通过专家模块减少了推理时的计算量，后者通过系统性搜索优化了训练配置。
关键设计：在训练过程中，采用了混合的AC-WM和WAM策略，增强了动作表示的可迁移性。推理时，GigaWorld-Policy-0.5实现了85毫秒的推理延迟，显示出其高效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GigaWorld-Policy-0.5在推理延迟上达到了85毫秒，相较于传统WAM方法显著降低了计算开销，提升了机器人控制的实时性和效率。这一成果为机器人策略学习提供了新的思路和方法。
🎯 应用场景
该研究的潜在应用领域包括自主机器人、智能制造和人机交互等场景。通过提高机器人控制的推理效率，GigaWorld-Policy-0.5能够在复杂环境中实现更快速的决策，推动机器人技术的实际应用和发展。
📄 摘要（原文）
World Action Models (WAMs) improve robot policy learning by jointly modeling actions and future visual observations, using future scene evolution as dense supervision for physically grounded action generation. However, a common design in existing WAMs is to explicitly generate future videos at inference time, incurring substantial computational overhead and hindering real-time closed-loop deployment. GigaWorld-Policy addresses this issue with an action-centered formulation, where future visual dynamics are used during training while action-only decoding is used at inference time. Building upon this framework, we present GigaWorld-Policy-0.5, an enhanced action-centered WAM designed for more efficient robot control. During pretraining, GigaWorld-Policy-0.5 adopts a mixed Action-Conditioned World Modeling (AC-WM) and WAM training strategy. This strengthens the coupling between visual dynamics and robot actions and improves the transferability of action representations for downstream policy learning. For efficient inference, GigaWorld-Policy-0.5 introduces a Mixture-of-Transformers architecture that separates visual dynamics modeling and action generation into specialized experts, reducing active computation during action-only inference and achieving 85 ms inference latency on a local RTX 4090 setup. In addition, we employ an agent-based AutoResearch pipeline to systematically search training configurations, enabling more efficient identification of optimal experimental setups while reducing the time and manual intervention required for hyperparameter tuning. Experiments and ablations show that GigaWorld-Policy-0.5 preserves the training benefits of future visual dynamics while improving inference efficiency for robot control.