DexWeave: Learning Dexterous Humanoid Loco-Manipulation from Human Demonstrations
作者: Naichuan Sun, Haotian Shen, Yizhang Zhang, Luying Feng, Haoze Wang, Yuanbo Xiangli, Yaochu Jin, Peidong Liu
分类: cs.RO
发布日期: 2026-09-28
备注: 26 pages, 6 figures
💡 一句话要点
提出DexWeave以解决人类示范下的灵巧人形机器人运动问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 灵巧机器人 运动学习 人类示范 解剖学感知 强化学习 交互一致性 运动重定向
📋 核心要点
- 现有方法在灵巧人形机器人运动学习中面临身体运动与交互结构耦合失真的挑战，难以实现高效的动作转移。
- DexWeave通过两阶段重定向和解剖学感知的Transformer策略，解决了动作重定向与交互一致性的问题。
- 实验结果表明，DexWeave在重定向准确性、操作性能和策略收敛速度上均优于多层感知机基线，展示了其有效性。
📝 摘要（中文）
学习灵巧的人形机器人运动与操作需要转移人类动作及其背后的协调交互结构。这一过程面临着身体运动、手腕位置、手指动作与物体交互之间的耦合失真等挑战。本文提出DexWeave，一个统一框架，连接了交互一致的运动重定向与解剖学感知的全身策略学习。DexWeave首先通过两阶段重定向程序初始化身体和手部动作，随后在保持下肢支撑的同时，对上半身交互链进行耦合优化。最终，采用解剖学感知的Transformer策略跟踪生成的参考动作，模型通过强化学习直接训练，显著提高了重定向的准确性和交互一致性，并在操作性能和策略收敛速度上优于现有的多层感知机基线。
🔬 方法详解
问题定义：本文旨在解决灵巧人形机器人在学习人类示范下的运动与操作时，身体运动与交互结构之间的耦合失真问题。现有方法难以在机器人动态下实现运动的准确重定向，导致操作性能不足。
核心思路：DexWeave的核心思路是通过两阶段的重定向程序和解剖学感知的策略学习，确保动作重定向的一致性与交互的协调性。该设计旨在克服身体运动与手部交互之间的复杂关系。
技术框架：DexWeave的整体架构包括两个主要模块：第一阶段是使用专门的求解器初始化身体和手部动作，第二阶段则在保持下肢支撑的前提下，对上半身交互链进行耦合优化。最终，使用解剖学感知的Transformer策略来跟踪生成的参考动作。
关键创新：DexWeave的关键创新在于将解剖学区域表示为结构化的标记，并通过定向掩蔽注意力建模其依赖关系。这一方法与现有的多层感知机方法本质上不同，后者未能有效捕捉交互的复杂性。
关键设计：在技术细节上，DexWeave采用了强化学习直接训练策略，避免了预训练的跟踪策略、教师-学生蒸馏或后续的残差优化，显著提高了重定向的准确性和策略收敛速度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DexWeave在重定向准确性和交互一致性上显著优于多层感知机基线，操作性能提高了XX%，策略收敛速度加快了XX%。这些结果表明DexWeave在实际应用中的有效性和优势。
🎯 应用场景
该研究的潜在应用场景包括服务机器人、医疗辅助机器人及人机协作等领域。通过实现灵巧的全身运动与操作，DexWeave能够提升机器人在复杂环境中的适应能力和操作效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Learning dexterous humanoid loco-manipulation from human demonstrations requires transferring not only human motion, but also the coordinated interaction structure underlying the demonstrated behavior. This is challenging because embodiment differences distort the coupling among body motion, wrist placement, finger articulation, and object interaction, while kinematically accurate references may still be difficult to realize under robot dynamics. We present DexWeave, a unified framework that connects interaction-consistent motion retargeting with anatomy-aware whole-body policy learning. DexWeave first employs a two-stage retargeting procedure that initializes body and hand motions with specialized solvers and subsequently performs coupled refinement over the upper-body interaction chain while preserving lower-body support. The resulting references are tracked by an anatomy-aware Transformer policy that represents anatomical regions as structured tokens and uses directed masked attention to model their dependencies, with object information selectively conditioning the upper-body pathway for dexterous interaction. The policy jointly outputs body and dexterous-hand actions and is trained directly with reinforcement learning, without pretrained tracking policies, teacher-student distillation, or subsequent residual refinement. DexWeave improves retargeting fidelity and interaction consistency while achieving higher manipulation performance and faster policy convergence than MLP baselines. We further deploy the learned policies on a physical Unitree G1 humanoid equipped with Inspire dexterous hands, demonstrating dexterous whole-body loco-manipulation in the real world. See our project page (https://dexweave.github.io) for videos.