WB-WAM: Heterogeneous Body-Hand Pre-training for Humanoid Loco-Manipulation
作者: Chuan Qin, Shaoting Zhu, Siyuan Luo, Siqiao Huang, Hongyu Zhao, Hang Zhao
分类: cs.RO
发布日期: 2026-09-28
备注: Project Page: https://wb-wam.github.io
💡 一句话要点
提出WB-WAM以解决人形机器人运动与操作协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 运动协调 全身动作监督 生成视频预训练 多模态学习 数据效率 任务适应 机器人技术
📋 核心要点
- 现有的机器人预训练方法在全身运动的覆盖上存在不足，难以实现人形机器人的协调运动与操作。
- WB-WAM通过引入全身动作监督和共享物理动作空间，利用大量部分注释的数据进行联合学习，提升了机器人运动的效率。
- 实验结果表明，WB-WAM在模拟和现实环境中均表现优异，尤其在多任务场景中显著提高了成功率。
📝 摘要（中文）
人形机器人运动与操作协调需要身体与手部行为的协同，但传统的机器人预训练数据对整体运动的覆盖有限。本文提出WB-WAM，即世界动作模型，通过将明确的全身动作监督融入生成视频预训练中。一个共享的物理动作空间整合了来自异构来源的身体、根部和灵巧手部注释，使得从1880.2小时的部分注释视频和运动数据中进行联合视频和动作学习成为可能。通过PICO中期训练对结果先验进行精炼，并通过辅助的正向运动学监督将其适应于机器人任务。构建的WB-Datasets支持这些阶段，利用重新定向的自我中心人类演示和机器人轨迹，使任务对齐的人类运动补充有限的机器人数据。模拟评估显示在HumanoidArena中整体任务表现强劲，达81.9%，而现实世界实验进一步验证了WB-WAM在五个任务中的平均成功率为84.0%。
🔬 方法详解
问题定义：本文旨在解决人形机器人在运动与操作协调方面的不足，现有方法在全身运动数据的覆盖和利用上存在局限性，导致机器人在复杂任务中的表现不佳。
核心思路：WB-WAM的核心思路是将全身动作监督引入生成视频预训练，通过共享的物理动作空间整合不同来源的运动数据，从而实现更有效的联合学习。
技术框架：整体架构包括数据收集、模型预训练、PICO中期训练和任务适应四个主要阶段。首先收集异构数据，然后进行联合学习，接着通过PICO精炼先验，最后适应于具体的机器人任务。
关键创新：最重要的创新在于引入了全身动作监督和共享物理动作空间，使得机器人能够更好地学习复杂的运动模式，与传统方法相比，显著提升了学习效率和任务表现。
关键设计：在模型设计中，采用了多模态数据融合技术，设置了适应性损失函数以平衡不同数据源的影响，同时使用正向运动学监督来增强模型的任务适应能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在HumanoidArena中，WB-WAM的整体任务表现达到了81.9%，而在现实世界的五个任务中，平均成功率为84.0%。此外，任务对齐的PICO中期训练显著提高了下游任务的表现，同时减少了对真实机器人演示的需求，体现了其数据效率的优势。
🎯 应用场景
该研究的潜在应用领域包括人形机器人在家庭服务、工业自动化和救援任务中的应用。通过提高机器人在复杂环境中的运动与操作能力，WB-WAM有望推动人形机器人技术的实际应用和普及，提升人机协作的效率与安全性。
📄 摘要（原文）
Humanoid loco-manipulation demands coordinated body and hand behavior, while conventional robot pre-training data provide limited coverage of such whole-body motion. We present WB-WAM, a World Action Model that incorporates explicit whole-body action supervision into generative video pre-training. A shared physical action space integrates body, root, and dexterous hand annotations from heterogeneous sources, enabling joint video and action learning from 1880.2 hours of partially annotated video and motion data. The resulting priors are refined through PICO mid-training and adapted to robot tasks with auxiliary forward kinematics supervision. We construct WB-Datasets to support these stages with retargeted egocentric human demonstrations and robot trajectories, allowing task-aligned human motion to supplement limited robot data. Evaluations in simulation demonstrate strong whole-body task performance with 81.9% in HumanoidArena, while real-world experiments further validate WB-WAM with 84.0% mean success across five tasks. Moreover, task-aligned PICO mid-training improves downstream task performance while reducing the need for real-robot demonstrations. These results support heterogeneous whole-body pre-training and human motion transfer as a practical route to data-efficient humanoid loco-manipulation.