Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer
作者: Zetao Cai, Yaping Li, Yiqun Wang, Xinyu Zhan, Yuyin Yang, Haoxiang Ma, Kailin Li, Tao Lu, Jiangmiao Pang, Linning Xu, Dahua Lin
分类: cs.RO
发布日期: 2026-09-18
💡 一句话要点
提出Skel-WAM以解决人机操作转移中的动作差异问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 人机协作 操作转移 骨架模型 多模态学习 机器人控制 视觉动态 关键点编码
📋 核心要点
- 现有的机器人演示收集成本高且任务变体覆盖不足，限制了机器人学习的多样性。
- Skel-WAM通过统一的手部骨架运动接口，结合人类和机器人运动的共同拓扑，解决了人机之间的动作差异。
- 在实验中，Skel-WAM在真实和模拟任务中均显著提高了成功率，尤其是在机器人训练数据缺乏的任务变体上。
📝 摘要（中文）
机器人演示收集成本高且任务变体覆盖有限，而人类视频提供了低成本的补充操作经验。Skel-WAM是一种世界动作模型，通过统一的手部骨架运动接口来弥合人类与机器人之间的差异。该模型通过共同的手部拓扑对齐人类和机器人运动，结合场景中的骨架叠加和编码手部运动学的结构化2.5-D关键点。视频和关键点专家通过混合变换器共同学习视觉和骨架动态，而单独训练的机器人动作专家将这些预测映射到可执行控制。实验表明，Skel-WAM在四个真实双手任务和七个模拟任务中取得了79.86%和63.29%的平均成功率，超越最强基线22.22和8.28个百分点，显示出共享骨架接口能够促进人类与机器人数据的联合学习，扩展机器人任务覆盖范围。
🔬 方法详解
问题定义：本论文旨在解决人类与机器人在操作转移中的动作差异问题。现有方法在收集机器人演示时成本高且任务变体覆盖有限，导致机器人学习的多样性不足。
核心思路：论文提出Skel-WAM，通过统一的手部骨架运动接口对齐人类与机器人运动，利用骨架叠加和2.5-D关键点编码手部运动学，从而实现跨模态的学习。
技术框架：Skel-WAM的整体架构包括视频和关键点专家模块，利用混合变换器共同学习视觉和骨架动态；同时，单独训练的机器人动作专家将预测映射为可执行控制。
关键创新：最重要的创新在于通过共享的骨架接口实现人类与机器人数据的联合学习，避免了对人类视频中机器人动作标签的需求，从而提高了学习效率。
关键设计：在模型设计中，采用了混合变换器架构，结合了视觉和骨架动态的学习，关键点的选择和损失函数的设计也经过精心调整，以确保模型的有效性和准确性。
🖼️ 关键图片
📊 实验亮点
在实验中，Skel-WAM在四个真实双手任务和七个模拟任务中分别取得了79.86%和63.29%的平均成功率，超越最强基线22.22和8.28个百分点。此外，人机共同训练在缺乏机器人训练数据的任务变体上成功率从38.89%提升至86.11%。
🎯 应用场景
该研究的潜在应用领域包括人机协作、智能制造和服务机器人等。通过实现人类与机器人之间的有效操作转移，Skel-WAM可以在多种复杂任务中提升机器人的适应能力和灵活性，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Robot demonstrations are expensive to collect and often provide limited distributional coverage of task variations. Human videos offer a low-cost source of complementary manipulation experience, but learning from them requires bridging embodiment gaps in visual appearance and action spaces. We introduce Skel-WAM, a world action model that bridges these differences through a unified hand-skeleton motion interface. The key insight is to align human and robot motion through a common hand topology, combining skeleton overlays that ground motion in the scene with structured 2.5-D keypoints that encode explicit hand kinematics. Video and Keypoint Experts jointly learn visual and skeletal dynamics through a Mixture-of-Transformers, while a separate robot-trained Action Expert maps these predictions to executable controls. This separation enables human and robot demonstrations to directly supervise shared dynamics without requiring robot action labels for human videos. Across four real-world bimanual tasks and seven simulated tasks, Skel-WAM achieves average success rates of 79.86% and 63.29%, surpassing the strongest baseline by 22.22 and 8.28 percentage points, respectively. Human-robot cotraining more than doubles real-world success on task variations absent from robot training data, from 38.89% to 86.11%. These results demonstrate that a shared skeletal interface enables joint learning across human and robot data and expands robot task coverage through complementary human demonstrations.