Humanoid World Action Model With Joint State--Action Generation

📄 arXiv: 2610.12026v1 📥 PDF

作者: Yan Yang, Jikun Rong, Minzhao Zhu, Zheyi Zhao, Qirui Hu, Zihan Lan, Weixin Mao, Yinhao Li, Zhen Fu, Hua Chen

分类: cs.RO, cs.AI

发布日期: 2026-10-08

备注: Under review. 15 pages, 5 figures

💡 一句话要点

提出HWAM以解决人形机器人动作执行差异问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人形机器人 动作生成 视觉-语言-动作 世界动作模型 机器人控制 动态建模 多模态学习

📋 核心要点

  1. 现有的VLA和WAM策略在分层人形系统中存在动作执行差异，导致参考动作与实际动作之间的关联困难。
  2. HWAM通过联合生成参考动作和其实现的身体状态，将执行运动的监督直接融入动作学习中，解决了执行差异问题。
  3. HWAM在LimX OLI人形机器人上进行的实验中，在Candy Picking任务中取得了70.6%的成功率，显著优于Fast-WAM的43.3%。

📝 摘要（中文）

人形机器人是通用操作的有前景平台。最近的视觉-语言-动作（VLA）策略直接从多模态观察中学习动作，而世界动作模型（WAM）则进一步结合未来视觉预测以改善动作生成。然而，在分层人形系统中，VLA和WAM策略输出的参考动作与机器人实际执行的动作之间存在差距。为了解决这一问题，本文提出了HWAM，即具有联合状态-动作生成的人形世界动作模型，使机器人的执行后本体状态成为明确的预测目标。HWAM通过三条互补的条件路径进行训练，成功在三个真实机器人任务中取得了最高的成功率。

🔬 方法详解

问题定义：本文旨在解决人形机器人在执行参考动作时与实际动作之间的差异问题。现有的VLA和WAM方法未能有效建模机器人执行后的身体状态，导致动作与物理结果之间的关联困难。

核心思路：HWAM通过联合生成参考动作和其实现的身体状态，使得执行后的本体状态成为明确的预测目标，从而将执行运动的监督直接融入动作学习中。

技术框架：HWAM的整体架构包括三个主要模块：策略路径（Policy path）、前向动力学建模（FDM）和逆向动力学建模（IDM）。策略路径在当前观察条件下联合去噪状态-动作轨迹，FDM预测基于动作和执行后状态的未来视觉观察，而IDM则从视觉转变中重建关节轨迹。

关键创新：HWAM的核心创新在于将执行后的身体状态与参考动作的生成结合起来，形成一个闭环系统。这一设计使得HWAM能够有效地连接政策参考、实现的身体运动和视觉结果，克服了传统方法的不足。

关键设计：HWAM的训练通过三条互补的条件路径进行，采用了特定的损失函数来优化状态-动作轨迹的去噪，确保在部署条件下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HWAM在LimX OLI人形机器人上进行的实验中，在Candy Picking任务中取得了70.6%的成功率，相较于基线方法Fast-WAM的43.3%有显著提升，展示了HWAM在动作生成和执行一致性方面的优势。

🎯 应用场景

HWAM的研究成果在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过提高人形机器人在复杂环境中的操作能力，HWAM能够推动智能机器人在实际场景中的应用，提升其自主性和灵活性。

📄 摘要（原文）

Humanoid robots are a promising platform for general-purpose manipulation. Recent Vision-Language-Action (VLA) policies learn actions directly from multimodal observations, while World Action Models (WAMs) further incorporate future visual prediction to improve action generation. However, in hierarchical humanoid systems, VLA and WAM policies output reference actions that are subsequently realized through whole-body control, robot dynamics, balance, and contact. This hierarchy creates an action--execution gap: the reference produced by the policy can differ from the motion realized by the robot. Without explicitly modeling the realized body state, future visual prediction must jointly explain scene evolution and discrepancies between reference actions and executed motion, making it difficult to associate an action with its physical outcome. We propose HWAM, a Humanoid World Action Model with joint state--action generation, which makes the robot's post-execution proprioceptive state an explicit prediction target. By jointly generating reference actions and their realized body states, HWAM directly incorporates supervision of executed motion into action learning. HWAM is trained through three complementary conditional paths. The Policy path jointly denoises state--action trajectories conditioned only on current observations, matching deployment conditions. Forward Dynamics Modeling (FDM) predicts future visual observations conditioned on actions and post-execution states, while Inverse Dynamics Modeling (IDM) reconstructs the joint trajectory from visual transitions. Together, these paths connect policy references, realized body motion, and visual outcomes. HWAM achieves the highest success rate among evaluated baselines on three real-robot tasks on the LimX OLI humanoid. On Candy Picking, HWAM achieves a 70.6% success rate, compared with 43.3% for Fast-WAM.