Atomic-WAM: Execution-Grounded Atomic-Motion Reasoning for World Action Models
作者: Shijun Shi, Zhe Liu, Zhi Hou, Yinan Chen, Tao Zhang, Kai Hu, Yong Liu, Jiangning Zhang
分类: cs.RO
发布日期: 2026-10-14
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Atomic-WAM以解决任务指令模糊导致的动作选择问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 世界动作模型 机器人控制 任务推理 视觉-语言推理 自动注释 执行能力 模糊指令 动作选择
📋 核心要点
- 现有的世界动作模型在处理模糊任务指令时，无法准确选择下一步的物理交互动作，导致执行效果不佳。
- 本文提出的Atomic-WAM框架通过原子动作描述，将任务推理与动作生成有效连接，提升了动作选择的准确性。
- 在RoboLab的实验中，Atomic-WAM在默认指令下达到了39.6%的任务成功率，相较于传统方法有显著提升。
📝 摘要（中文）
世界动作模型（WAMs）通常通过联合视频和动作预测将视频基础模型应用于机器人控制。然而，任务级指令可能导致下一步物理交互的不明确，需进行语义基础和状态依赖的动作选择。为此，本文提出Atomic-WAM，一个理解-执行框架，通过原子动作描述将任务推理与动作生成连接起来。具体而言，视觉-语言推理器根据任务指令和视觉上下文描述下一步局部动作，指导WAM预测未来视频和动作片段。此外，自动注释管道从多视角DROID演示中策划时间对齐、接触丰富的监督。最后，Atomic-WAM在RoboLab的真实到模拟评估中，在默认指令下实现了39.6%的任务成功率，在模糊指令下实现31.6%的成功率。
🔬 方法详解
问题定义：本文旨在解决现有世界动作模型在面对模糊任务指令时，无法准确选择下一步物理交互动作的问题。现有方法在任务指令不明确时，缺乏有效的语义基础和状态依赖的动作选择能力。
核心思路：Atomic-WAM框架采用理解-执行的策略，通过原子动作描述将任务推理与动作生成连接。该设计使得模型能够根据任务指令和视觉上下文生成更为准确的动作预测。
技术框架：Atomic-WAM的整体架构包括视觉-语言推理器、世界动作模型（WAM）和自动注释管道。推理器负责从任务指令和视觉信息中提取局部动作，WAM则基于这些信息进行未来视频和动作片段的预测。
关键创新：本文的主要创新在于引入了Execution-Grounded GRPO（EG-GRPO）进行后训练，使得推理器能够通过动作适宜性和执行成功的奖励进行自适应调整。这一方法显著提升了模型在复杂任务中的执行能力。
关键设计：在模型设计中，采用了多视角DROID演示数据进行训练，确保了时间对齐和接触丰富的监督。此外，损失函数的设计考虑了动作的适宜性和执行的成功率，以优化模型的学习效果。
🖼️ 关键图片
📊 实验亮点
在RoboLab的真实到模拟评估中，Atomic-WAM在默认指令下实现了39.6%的任务成功率，而在模糊指令下也达到了31.6%的成功率。这些结果表明，Atomic-WAM在处理复杂任务时，显著优于传统的世界动作模型，展示了其在实际应用中的有效性。
🎯 应用场景
Atomic-WAM的研究成果在机器人控制、自动化任务执行和人机交互等领域具有广泛的应用潜力。通过提升机器人对模糊指令的理解和执行能力，该技术能够在智能家居、服务机器人及工业自动化等场景中发挥重要作用，推动相关技术的进步与普及。
📄 摘要（原文）
World Action Models (WAMs) typically adapt video foundation models to robotic control through joint video and action prediction. However, task-level instructions may leave the next physical interaction underspecified, requiring semantic grounding and state-dependent motion selection. To this end, we introduce Atomic-WAM, an understand-then-execute framework that connects task reasoning to action generation through atomic-motion descriptions. Specifically, a vision-language reasoner describes the next local motion from the task instruction and visual context, guiding a WAM to predict future video and an action chunk. Furthermore, an automatic annotation pipeline curates temporally aligned, contact-enriched supervision from multi-view DROID demonstrations. To make atomic-motion predictions executable by the WAM, we post-train the reasoner with Execution-Grounded GRPO (EG-GRPO). With the WAM fixed, EG-GRPO adapts the reasoner through rewards for motion appropriateness and execution success. Finally, Atomic-WAM achieves 39.6% task success under default instructions and 31.6% under vague instructions in a real-to-sim evaluation on RoboLab. Project page: https://ssj9596.github.io/Atomic-WAM-project