Compositional Humanoid Manipulation through Isomorphic Teleoperation and Independent Skill Routing
作者: Yiming Wang, Peixian Yang, Lifeng Zhuo, Lai Wei, Xinling Du, Kun Song, Weiming Wang, Daolin Ma
分类: cs.RO
发布日期: 2026-10-19
💡 一句话要点
提出HS-MoDP以解决人形机器人技能组合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 人形机器人 技能组合 远程操作 语义路由 外骨骼 动作生成 机器人学习
📋 核心要点
- 现有的人形机器人操作方法在技能组合上存在局限，无法有效应对复杂的操作场景。
- 论文提出HS-MoDP，通过独立的语义路由将手臂技能组合，提升技能重用性和操作灵活性。
- 实验结果显示，使用G1Exo进行演示的成功率显著提高，验证了方法的有效性和可靠性。
📝 摘要（中文）
人形机器人操作需要可重用的手臂技能，但展示每种可能的技能组合是不切实际的。本文提出了人形语义专家混合扩散策略（HS-MoDP），通过独立的语义路由将单独演示的手臂技能组合在一起，利用共享的专家池。该设计在保持手臂特定技能控制的同时，跨手臂共享动作生成参数。语义调度器通过交替的操作和重新定位阶段，将学习到的策略与现有的运动控制器集成，扩展有效工作空间并实现技能在位置变化中的重用。为了获取全身接触操作的演示，本文开发了G1Exo，一个同构外骨骼，提供手臂配置的直接关节级控制。实验结果表明，G1Exo在接触远程操作中比末端执行器VR-IK更可靠，并且其演示提高了四种策略架构下的接触技能学习。HS-MoDP的实验结果显示，从VR-IK切换到G1Exo演示使得完整的柜子工作流成功率从35%提升至65%。所有项目硬件设计和源代码将在审稿过程后以开源形式发布。
🔬 方法详解
问题定义：人形机器人在复杂环境中进行操作时，现有方法难以有效组合多种手臂技能，导致操作灵活性不足，无法适应多变的任务需求。
核心思路：本文提出的HS-MoDP通过独立的语义路由机制，将不同的手臂技能进行组合，利用共享的专家池实现技能的重用，保持了手臂特定的控制能力。
技术框架：整体架构包括一个语义调度器和一个共享的专家池，语义调度器负责在操作和重新定位阶段之间切换，确保技能的有效应用。
关键创新：最重要的创新在于引入了独立的语义路由机制，使得不同手臂的技能可以灵活组合，显著提升了操作的适应性和效率。
关键设计：在技术细节上，设计了G1Exo外骨骼以实现关节级控制，优化了动作生成参数的共享机制，并通过实验验证了不同策略架构下的技能学习效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用G1Exo进行演示的成功率从35%提升至65%，相比于基线方法，HS-MoDP在技能组合方面表现出更强的能力，验证了其在复杂操作中的有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和医疗辅助等场景，能够提升机器人在复杂环境中的操作能力和灵活性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Humanoid manipulation requires reusable arm skills, yet demonstrating every possible skill combination is impractical. We present Humanoid Semantic Mixture-of-Experts Diffusion Policy (HS-MoDP), which composes separately demonstrated arm skills through independent semantic routing over a shared expert pool. This design preserves arm-specific skill control while sharing action-generation parameters across arms. A semantic scheduler integrates the learned policy with an existing locomotion controller through alternating manipulation and repositioning stages, extending the effective workspace and enabling skill reuse across location changes. To acquire demonstrations of whole-body contact manipulation, we develop G1Exo, an isomorphic exoskeleton that provides direct joint-level control of arm configurations. Experiments on a Unitree G1 show stronger skill composition than the baselines. G1Exo enables more reliable contact teleoperation than end-effector VR-IK, and its demonstrations improve contact-skill learning across four policy architectures. For HS-MoDP, switching from VR-IK to G1Exo demonstrations raises full cabinet workflow success from 35% to 65%. All project hardware designs and source code will be released as open source after the review process.