Gated Residual Body-Hand Coordination for Whole-Body Humanoid Teleoperation
作者: Ruiming Wu, Shuang Li, Liding Zhang, Alois Knoll, Zhaopeng Chen
分类: cs.RO
发布日期: 2026-09-16
💡 一句话要点
提出门控残差协调框架以解决全身人形机器人遥操作中的手体协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 遥操作 手体协调 门控机制 残差学习 运动跟踪 几何关系 人机交互
📋 核心要点
- 现有的全身人形机器人遥操作方法未能有效保持手与身体的几何关系，导致双手交互时的姿态不匹配。
- 本文提出的门控残差协调框架通过对输出进行有界修正，解决了手体协调问题，提升了交互效果。
- 实验结果表明，该方法在保持全身跟踪的同时，手腕和指尖几何误差减少了39.2%-56.3%，成功率也有所提升。
📝 摘要（中文）
全身人形机器人遥操作通常将运动跟踪策略与独立的灵巧手重定向器结合。然而，独立生成的指令未能明确保持手与身体的几何关系，导致双手交互时手腕姿态和指尖位置的不匹配。本文提出了一种门控残差协调框架，保持两个模块的冻结状态，并对其输出应用有界修正。运动条件的动作门在关节组之间分配修正权，而参考几何依赖的奖励门在训练过程中强调相关的交互目标。通过多姿态形态校准，我们在Agile One上建立了名义身体控制器，并为训练SONIC基础的跟踪器进行了分阶段运动数据集的策划。在仿真中，该方法在保持全身跟踪的同时，将手腕和指尖几何误差减少了39.2%-56.3%。
🔬 方法详解
问题定义：本文旨在解决全身人形机器人遥操作中手与身体之间几何关系不匹配的问题。现有方法在生成指令时未能考虑手体协调，导致双手交互时的姿态和位置不一致。
核心思路：提出的门控残差协调框架通过保持运动跟踪策略和灵巧手重定向器的冻结状态，应用有界修正来保持手体之间的几何关系，从而提高交互的准确性和自然性。
技术框架：整体架构包括运动条件的动作门和参考几何依赖的奖励门。动作门负责在关节组之间分配修正权，而奖励门则在训练过程中强调与交互相关的目标。
关键创新：最重要的技术创新在于引入了门控机制与残差学习相结合的框架，使得手体协调得以在不干扰原有模块的情况下进行有效修正，这是与现有方法的本质区别。
关键设计：在参数设置上，采用了多姿态形态校准来估计三轴比例和效应器局部偏移，同时进行了分阶段的运动数据集策划，以训练SONIC基础的跟踪器。
🖼️ 关键图片
📊 实验亮点
实验结果显示，采用门控残差协调框架后，手腕和指尖几何误差减少了39.2%-56.3%。在AMASS数据集上，成功率从89.03%提升至89.29%，表明该方法在保持全身跟踪的同时显著改善了交互效果。
🎯 应用场景
该研究的潜在应用领域包括人形机器人遥操作、虚拟现实交互以及人机协作等场景。通过提高手体协调性，该技术能够增强机器人在复杂环境中的操作能力，提升用户体验，具有重要的实际价值和未来影响。
📄 摘要（原文）
Whole-body humanoid teleoperation commonly combines a motion-tracking policy with a separate dexterous-hand retargeter. However, independently generated commands do not explicitly preserve body-hand geometric relations, leading to mismatches in relative wrist poses and fingertip positions during bimanual interaction. We present a gated residual coordination framework that keeps both modules frozen and applies bounded corrections to their outputs. A motion-conditioned action gate allocates correction authority across joint groups, while reference-geometry-dependent reward gates emphasize relevant interaction objectives during training. To establish the nominal body controller on Agile One, we introduce multi-pose morphology calibration that jointly estimates triaxial scales and effector-local offsets, together with staged motion dataset curation for training a SONIC-based tracker. The residual policy uses human motion references, initial commands, and robot proprioception without explicit object or contact observations. In simulation, it reduces wrist and fingertip geometry errors by 39.2-56.3% over direct composition on held-out GRAB motions, while preserving whole-body tracking on AMASS, with success rates of 89.03% without residual coordination and 89.29% with it. Ablations characterize the contributions of reward gating, adaptive correction authority, and separate body and hand correction heads.