MoWAM: Explicit Future Motion Prediction for Efficient World Action Models

📄 arXiv: 2609.20709v1 📥 PDF

作者: Jiayu Wang, Bin Zhu, Yue Yu, Jingjing Chen

分类: cs.RO

发布日期: 2026-09-17

💡 一句话要点

提出MoWAM以解决未来动态预测的计算效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 未来动态预测 机器人策略学习 世界行动模型 混合变换器 运动表示 鲁棒性提升 推理效率 智能系统

📋 核心要点

  1. 现有的世界行动模型在推理时需要显式生成未来视频，导致计算开销大，影响效率。
  2. MoWAM通过显式未来运动预测替代视频生成，利用紧凑的运动表示来捕捉未来动态，提升了推理效率。
  3. 实验结果显示，MoWAM在多个任务上表现优异，尤其在分布外鲁棒性和实际成功率上显著提升。

📝 摘要（中文）

世界行动模型（WAMs）通过引入未来动态来改善机器人策略学习，但在推理时显式生成未来视频会带来显著的计算开销。为提高效率，MoWAM提出了一种显式未来运动预测的方法，替代了未来视频的生成。MoWAM将结构化的机器人运动建模为未来的紧凑抽象，捕捉机器人在当前场景和交互约束下的演变。通过混合变换器架构，MoWAM在训练期间学习未来视觉动态，同时联合预测运动和动作，从而在推理时完全去除视频生成，保留未来的显式表示。实验结果表明，MoWAM在多个基准测试中表现出色，尤其在分布外的鲁棒性和实际成功率上优于现有WAM基线。

🔬 方法详解

问题定义：本论文旨在解决现有世界行动模型在推理时显式生成未来视频所带来的高计算开销问题。现有方法在处理分布转移时的鲁棒性也受到限制。

核心思路：论文提出MoWAM，通过显式未来运动预测来替代未来视频生成，利用紧凑的运动表示来捕捉机器人在当前场景下的演变，提升了推理效率和鲁棒性。

技术框架：MoWAM采用混合变换器架构，分为训练和推理两个阶段。在训练阶段，模型学习未来视觉动态并联合预测运动和动作；在推理阶段，直接使用运动表示进行决策，避免视频生成。

关键创新：MoWAM的主要创新在于通过显式未来运动预测来替代视频生成，形成了一种新的紧凑运动表示。这一方法与现有WAMs的本质区别在于其高效性和鲁棒性。

关键设计：在模型设计中，采用混合变换器架构以学习复杂的未来动态，同时设置了运动-任务进度验证器来选择最佳的运动和动作对，进一步提升推理效率。损失函数设计上，结合了运动预测和动作预测的损失，以确保模型的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoWAM在LIBERO、LIBERO-Plus和实际操作任务中表现优异，尤其在分布外鲁棒性上相较于现有WAM基线有显著提升，平均实际成功率更高。随着候选运动和动作对的增加，性能持续改善，验证了显式未来运动的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人操作、自动驾驶和智能制造等领域。通过提高未来动态预测的效率，MoWAM能够在复杂环境中实现更高效的决策支持，推动智能系统的实际应用和发展。

📄 摘要（原文）

World Action Models (WAMs) improve robot policy learning by incorporating future dynamics, yet explicitly generating future videos at inference introduces substantial computational overhead. Removing future generation improves efficiency, but leaves future dynamics only implicitly encoded in observation features, which can limit robustness under distribution shifts. We propose MoWAM, an efficient WAM that replaces future video generation with explicit future motion prediction. Instead of reconstructing the complete future scene, MoWAM models structured robot motion as a compact abstraction of the future, capturing how the robot is expected to evolve under the current scene and interaction constraints. A Mixture-of-Transformer architecture learns future visual dynamics during training while jointly predicting motion and action, allowing video generation to be removed entirely at inference while retaining an explicit representation of the future. The compact motion representation further enables efficient inference-time scaling by sampling multiple candidates of motion and action pairs and selecting among them with a motion-aware task-progress verifier. Experiments on LIBERO, LIBERO-Plus, and real-world manipulation tasks demonstrate that MoWAM achieves strong in-distribution performance, improved out-of-distribution robustness, and higher average real-world success than representative WAM baselines. In addition, performance improves as more candidates are explored, demonstrating that explicit future motion provides an effective and efficient basis for inference-time scaling.