EgoHumanoid-V2: Human-to-Humanoid Transfer of Coordinated Whole-Body Skills for Loco-Manipulation
作者: Jin Chen, Yiming Jiang, Chongyang Xu, Modi Shi, Shijia Peng, Li Chen, Tianyu Li, Mu Xu, Yilun Chen, Steven Hoi, Hongyang Li
分类: cs.RO, cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出EgoHumanoid-V2以解决人类技能向类人机器人转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 类人机器人 技能转移 协调运动 视觉-语言-动作 动态感知 运动学修正 图像增强
📋 核心要点
- 现有方法在协调全身技能的直接转移方面研究较少，主要集中于解耦控制下的场景泛化，导致技能转移效果不佳。
- 论文提出EgoHumanoid-V2框架，通过粗到细的动作对齐方法，结合运动学和动态信息，提升全身协调技能的转移效果。
- 在四个真实任务中，基于人类数据训练的策略实现了零-shot技能转移，且任务得分与遥控数据训练的策略相当，显示出更低的收集成本。
📝 摘要（中文）
人类示范捕捉了多样的场景和丰富的全身技能，而无需机器人遥控。以往的研究强调了在解耦控制下的场景泛化，直接转移协调的全身技能的研究较少。本文提出EgoHumanoid-V2，这是第一个用于协调全身运动的类人机器人技能转移框架。其核心是粗到细的动作对齐，结合运动学参考修正与动态感知的细化，提升了末端执行器的姿态精度，同时保持全身协调性。通过机器人臂渲染和训练时图像增强，减少视觉体现差距，提高视角鲁棒性。在四个真实世界任务上，基于对齐人类数据训练的视觉-语言-动作策略展示了零-shot技能转移，且任务得分与基于遥控数据训练的策略相当，但收集成本更低。这些结果支持人类数据作为直接技能监督。
🔬 方法详解
问题定义：本研究旨在解决人类技能向类人机器人转移中的协调全身技能直接转移不足的问题。现有方法多集中于解耦控制，未能有效实现全身协调技能的转移。
核心思路：EgoHumanoid-V2框架的核心思路是通过粗到细的动作对齐，结合运动学参考修正与动态感知的细化，来提升末端执行器的姿态精度，同时保持全身协调性。
技术框架：该框架主要包括动作对齐模块、运动学参考修正模块和动态感知细化模块。动作对齐模块负责初步对齐人类示范与机器人动作，运动学参考修正模块则确保机器人在执行任务时的姿态准确性，动态感知细化模块则进一步优化动作的动态表现。
关键创新：最重要的技术创新在于粗到细的动作对齐方法，结合了运动学和动态信息的双重优化，与现有方法的单一解耦控制策略形成鲜明对比。
关键设计：在设计中，采用了多种损失函数来平衡运动学精度与动态表现，同时使用了图像增强技术来减少视觉体现差距，确保在不同视角下的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于对齐人类数据训练的视觉-语言-动作策略实现了零-shot技能转移，任务得分与基于遥控数据训练的策略相当，且在收集成本上显著降低。这一成果展示了人类数据作为直接技能监督的有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过有效转移人类的协调技能，类人机器人能够在复杂环境中更好地执行任务，提高工作效率和灵活性，未来可能在家庭、医疗和制造业等多个领域产生深远影响。
📄 摘要（原文）
Human demonstrations capture diverse scenes and rich whole-body skills without requiring robot teleoperation. Prior work on egocentric transfer has emphasized scene generalization in loco-manipulation under decoupled control, leaving direct transfer of coordinated whole-body skills less explored. We present EgoHumanoid-V2, the first egocentric human-to-humanoid skill transfer framework for coordinated whole-body loco-manipulation. At its core, coarse-to-fine action alignment combines kinematic reference correction with dynamics-aware refinement. It improves end-effector pose accuracy while preserving whole-body coordination. We also use robot-arm rendering and training-time image augmentation to reduce the visual embodiment gap and improve viewpoint robustness. On four real-world tasks, vision-language-action (VLA) policies trained on aligned human data show zero-shot skill transfer without target-task robot demonstrations. Task scores are comparable to those of policies trained on teleoperation data at a lower collection cost. These results support human data as direct skill supervision.