WholeBodyWAM: Generalizing Pre-trained World-Action Priors to Humanoid Loco-Manipulation via WBC-Grounded Coordination
作者: Zhuo Li, Yiming Yao, Jim Tan, Mengjie Jing, Zhipeng Dong, Fei Chen
分类: cs.RO
发布日期: 2026-09-15
备注: 8 pages, 8 figures, 3 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出WholeBodyWAM以解决人形机器人全身协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 人形机器人 全身协调 世界动作模型 视觉动态预测 操作动作预测 异构控制器 机器人智能
📋 核心要点
- 现有的世界动作模型主要集中在桌面或臂部操作，缺乏对人形机器人行走操作的研究。
- WholeBodyWAM通过联合预测视觉动态、操作动作和全身控制意图，解决了人形机器人在复杂环境中的操作问题。
- 实验结果显示WholeBodyWAM在模拟任务中成功率达到91.9%，并显著降低了成功率的方差，提升了模型的稳定性。
📝 摘要（中文）
世界动作模型（WAMs）为通用机器人操作提供了有前景的方法，通过联合建模视觉动态和动作。然而，大多数WAM研究集中于桌面或臂部操作，而人形机器人行走操作仍然较少探索。为了解决这一问题，我们引入了WholeBodyWAM，它联合预测未来的视觉动态、操作动作和全身控制意图，以实现可推广的人形机器人行走操作。该方法保留了预训练的世界动作先验，同时将异构全身控制器（WBC）语义进行基础化，并协调全身行为。大量实验表明，WholeBodyWAM在模拟任务中的整体成功率达到91.9%，在真实世界的分布外任务进展中提高了0.23，并且相较于基线，成功率方差减少了70%。这些结果表明，通过结构化的WBC基础化和协调，扩展预训练的世界动作先验，为可扩展的人形全身智能指明了方向，而不是从头开始重新学习全身行为。
🔬 方法详解
问题定义：本论文旨在解决人形机器人在复杂环境中进行行走操作时的全身协调问题。现有方法主要集中于桌面或臂部操作，缺乏对全身协调的有效建模。
核心思路：WholeBodyWAM通过保留预训练的世界动作先验，结合异构全身控制器的语义，协调全身行为，从而实现对未来视觉动态和操作动作的联合预测。
技术框架：WholeBodyWAM的整体架构包括三个主要模块：视觉动态预测模块、操作动作预测模块和全身控制意图模块。这些模块通过共享信息实现协调，增强了模型的整体性能。
关键创新：本研究的关键创新在于将预训练的世界动作先验与全身控制器的语义进行有效结合，避免了从头学习全身行为的高昂成本，提升了模型的泛化能力。
关键设计：在关键设计方面，论文采用了特定的损失函数来平衡各模块的训练，确保模型在不同任务中的稳定性。同时，网络结构经过精心设计，以支持异构控制器的协调工作。
🖼️ 关键图片
📊 实验亮点
实验结果显示，WholeBodyWAM在模拟任务中的成功率达到91.9%，相较于基线提高了0.23，并且成功率方差减少了70%。这些数据表明该方法在不同任务中的稳定性和有效性，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、家庭自动化、工业机器人等，能够在复杂环境中实现更高效的操作。通过提升人形机器人的全身协调能力，未来可以在更多实际场景中应用，如救援、医疗和娱乐等领域，具有重要的实际价值和影响。
📄 摘要（原文）
World Action Models (WAMs) offer a promising approach to general-purpose robot manipulation by jointly modeling visual dynamics and actions. However, most WAM studies focus on tabletop or arm-centric manipulation, while humanoid loco-manipulation remains less explored. To address this gap, we introduce WholeBodyWAM, which jointly predicts future visual dynamics, manipulation actions, and whole-body control intents for generalizable humanoid loco-manipulation. It preserves pre-trained world-action priors while grounding heterogeneous whole-body controller (WBC) semantics and coordinating whole-body behavior. Extensive experiments show that WholeBodyWAM achieves an overall simulation task success rate of 91.9%, with a 0.23 improvement in real-world out-of-distribution task progress and a 70% reduction in success-rate variance across WBCs relative to the respective baselines. These results suggest a path toward scalable humanoid whole-body intelligence by extending pre-trained world-action priors through structured WBC grounding and coordination, rather than relearning whole-body behavior from scratch. Project page: https://wholebodywam.github.io/.