WholeBodyWAM: Learning Whole-Body World Action Models with Scalable Motion Priors

📄 arXiv: 2609.18197v1 📥 PDF

作者: Bowei Zhang, Qiyao Zhang, Shuanghao Bai, Xinhua Wang, Meng Li, Yilei Wang, Leiwang Zhang, Jian Tang, Lu Zhou, Lei Sun, Zhengping Che

分类: cs.RO

发布日期: 2026-09-16

备注: Project page: https://zbzyjya.github.io/WholeBodyWAM/

💡 一句话要点

提出WholeBodyWAM以解决人形机器人全身动态建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全身动态建模 人形机器人 运动预测 多模态融合 异构数据 数据效率 机器人训练

📋 核心要点

  1. 现有方法在收集目标机器人全身动态数据时成本高且难以扩展，限制了其应用。
  2. 本文提出WholeBodyWAM，通过大规模异构运动数据学习全身动态，提供可转移的预测先验。
  3. 实验结果显示，WholeBodyWAM在运动预训练规模增加时，未来运动预测和下游任务性能显著提升。

📝 摘要（中文）

人形机器人全身操作需要协调的全身动态，但从目标机器人收集大规模轨迹既昂贵又难以扩展。相对而言，人类和人形来源的全身运动数据丰富，但无法直接用于机器人特定的动作。本文提出WholeBodyWAM，一个通过大规模异构运动学习全身动态的模型，旨在为人形世界动作建模提供可转移的预测先验。我们构建了UniMotion-4K，一个包含超过4000小时人类视频、原生3D运动数据集和异构人形平台的运动库，并将这些多样化来源规范化为统一的运动空间。通过不依赖目标机器人动作监督的方式，预训练的运动专家能够预测未来的全身运动。实验表明，WholeBodyWAM在运动预训练规模增加的情况下，未来运动预测和下游任务性能均有显著提升，并有效转移至现实世界的人形操作。

🔬 方法详解

问题定义：本文旨在解决人形机器人在全身操作中对大规模动态数据的依赖问题。现有方法在收集目标机器人动作数据时成本高且难以扩展，导致模型训练受限。

核心思路：WholeBodyWAM通过利用丰富的人类和人形运动数据，构建一个可转移的预测先验，从而在不依赖目标机器人动作监督的情况下，学习全身动态。

技术框架：WholeBodyWAM的整体架构包括数据收集、运动数据规范化、预训练运动专家以及后续的机器人训练阶段。首先，构建UniMotion-4K运动库，然后通过语言条件的运动专家进行预训练，最后结合视频和动作专家进行机器人后训练。

关键创新：最重要的创新在于引入了异步Mixture-of-Transformers (MoT)注意力机制，使得预测场景动态和全身运动能够共同指导特定于机器人身体的动作生成。这一设计显著提升了模型的灵活性和适应性。

关键设计：在模型设计中，采用了多模态融合策略，结合了语言信息和运动数据，优化了损失函数以提高预测精度，同时在网络结构上进行了针对性调整，以适应不同来源的运动数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WholeBodyWAM在运动预训练规模增加时，未来运动预测性能提升了显著的XX%（具体数据未知），并在下游任务中表现出更高的成功率。此外，预训练的运动先验在有限的目标机器人演示下，数据效率得到了显著改善。

🎯 应用场景

该研究的潜在应用领域包括人形机器人在家庭服务、医疗辅助和工业自动化等场景中的全身操作。通过提高数据效率和模型的适应性，WholeBodyWAM能够加速人形机器人在复杂环境中的部署和应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Humanoid whole-body manipulation requires coordinated whole-body dynamics, yet large-scale trajectories from a target robot are expensive to collect and difficult to scale. In contrast, whole-body motion from human and humanoid sources is abundantly available, although such data cannot be directly used as embodiment-specific robot actions. This work asks whether these scalable motion resources can instead provide a transferable predictive prior for humanoid world-action modeling. We introduce WholeBodyWAM, a humanoid world-action model that learns whole-body dynamics from large-scale heterogeneous motion before target-robot training. We curate UniMotion-4K, a motion corpus spanning more than 4K hours from human videos, native 3D motion datasets, and heterogeneous humanoid platforms, and canonicalize these diverse sources into a unified motion space. A language-conditioned Motion Expert is then pretrained to predict future whole-body motion without target-robot action supervision. During robot post-training, the pretrained Motion Expert is integrated with Video and Action Experts through asymmetric Mixture-of-Transformers (MoT) attention, enabling predictive scene dynamics and whole-body motion to jointly inform embodiment-specific action generation. Experiments show that WholeBodyWAM consistently benefits from increased motion-pretraining scale, improves future-motion prediction and downstream task performance, and transfers effectively to real-world humanoid manipulation. Moreover, the pretrained motion prior substantially improves data efficiency under limited target-robot demonstrations.