SkelWAM: A Skeleton-Guided World-Action Model for Zero-Shot Cross-Embodiment Manipulation
作者: Pengjun Niu, Yujia Xie, Rui Peng, Hang Zhao, Ke Liu
分类: cs.RO
发布日期: 2026-09-18
💡 一句话要点
提出SkelWAM以解决跨体态操控的经验重用问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)
关键词: 跨体态操控 机器人学习 骨架引导 几何表示 视觉监督 动作预测 经验重用 多模态控制
📋 核心要点
- 现有方法在跨体态操控中面临视觉外观和动作语义变化的挑战，导致经验重用困难。
- SkelWAM通过骨架引导的几何表示，将感知与控制结合，实现跨体态操控的经验重用。
- 在LIBERO-Cross10基准上，SkelWAM的成功率达到43.3%，显著优于其他基线，展示了其有效性。
📝 摘要（中文）
在机器人学习中，重用操控经验对于扩展学习能力和减少重复的数据收集至关重要。然而，体态变化会影响视觉外观、动作维度和语义。本文提出SkelWAM，一个基于骨架的世界-动作模型，通过明确的几何表示将感知与控制结合，支持单源跨体态操控。该模型使用25维共享状态，结合了手臂中心线几何、工具中心点姿态和并行夹具命令。通过预测视觉监督训练，SkelWAM在LIBERO-Cross10基准上实现了43.3%的成功率，超越了最佳基线36.2个百分点，并在实际机器人上展示了其潜力。
🔬 方法详解
问题定义：本文旨在解决跨体态操控中由于体态变化导致的视觉外观、动作维度和语义的不一致性问题。现有方法通常依赖于一对一的关节对应关系，限制了经验的重用和适应性。
核心思路：SkelWAM通过引入骨架引导的世界-动作模型，使用统一的几何表示来连接感知与控制，从而实现不同体态间的操控经验重用。该方法不需要目标任务的演示或策略更新，简化了跨体态操控的过程。
技术框架：SkelWAM的整体架构包括三个主要模块：首先是基于视频的视觉监督训练，其次是通过变换器预测标准骨架动作片段，最后是将这些片段通过特定解码器转换为关节或连续机器人控制。
关键创新：SkelWAM的主要创新在于其不依赖于一对一的关节对应关系，且通过共享的25维状态表示来统一不同体态的操控方式，这与现有方法有本质区别。
关键设计：模型采用了预测视觉监督的训练方式，损失函数设计上注重对动作片段的准确预测，网络结构则结合了变换器和解码器，以实现高效的动作转换。具体参数设置和网络细节在论文中进行了详细讨论。
🖼️ 关键图片
📊 实验亮点
在LIBERO-Cross10基准测试中，SkelWAM在1000个实验中实现了43.3%的成功率，超越了最佳基线36.2个百分点，显示出其在跨体态操控中的显著优势。此外，SkelWAM在实际的Feagine A03连续机器人上成功执行了三项桌面操控任务，验证了其在真实环境中的应用潜力。
🎯 应用场景
SkelWAM的研究成果在多种机器人应用场景中具有广泛的潜力，尤其是在需要跨体态操控的任务中，如家庭服务机器人、工业自动化和医疗辅助等领域。其方法的有效性和灵活性为未来的机器人学习和适应性控制提供了新的思路，可能推动机器人技术的进一步发展。
📄 摘要（原文）
Reusing manipulation experience across robot embodiments is important for scaling robot learning and reducing repeated task-specific data collection. However, changes in embodiment alter visual appearance, action dimensionality and semantics, and the whole-body configurations that can realize the same tool pose. We present SkelWAM, a skeleton-guided world-action model that couples perception and control through one explicit geometric representation for single-source cross-embodiment manipulation. Arm centerline geometry, tool-center-point (TCP) pose, and parallel-jaw commands form a shared 25-D state. The same definition underlies canonical third-person and wrist observations and future whole-body action targets. Trained with predictive visual supervision, a video-action mixture of transformers predicts canonical skeleton action chunks, which embodiment-specific constrained decoders convert into joint or continuum-robot controls. This formulation requires no one-to-one joint correspondence and uses no target-task demonstrations or target policy updates. We introduce LIBERO-Cross10, a source-only cross-embodiment transfer benchmark covering ten tasks and ten target embodiments across four morphological groups. On this benchmark, Franka-trained SkelWAM achieves 43.3% success over 1,000 episodes, exceeding the best-performing evaluated baseline by 36.2 percentage points. We further deploy a JAKA mini2-trained policy on the Feagine A03 continuum robot for three tabletop manipulation tasks, illustrating the approach's potential for real-world cross-embodiment manipulation. Project page: http://www.liukepku.com/skelwam/index.html