DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
作者: Rui Zhou, Yibo Yuan, Junkai Zhao, Fangyuan Zhao, Xiaoguang Zhao, Shanghang Zhang, Sirui Han
分类: cs.RO
发布日期: 2026-09-28
备注: Project page: https://dexroam.github.io/
💡 一句话要点
提出DexRoam以解决移动双手灵巧操作的示范瓶颈问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动操作 双手灵巧 人类示范 机器人学习 无追踪器捕捉 对齐阶段 VLA策略 细粒度运动
📋 核心要点
- 现有方法在移动双手灵巧操作中存在示范瓶颈，难以有效转移人类的细粒度运动结构。
- DexRoam通过无追踪器的捕捉系统和三个对齐阶段，实现了人类示范到机器人动作的有效转移。
- 实验结果显示，使用人类示范后，策略学习的成功率从29%提升至56%，并且减少了机器人示范的需求。
📝 摘要（中文）
移动双手灵巧操作需要在单一轨迹中持续协调行走、全身运动和手指级别的灵巧性，造成了机器人示范的瓶颈。以自我为中心的人类示范提供了一种可扩展的替代方案，但现有方法通过简化人类运动来减轻转移难度，忽略了这些任务所依赖的细粒度耦合结构。本文提出DexRoam，一个完整的系统，通过人类示范学习移动双手灵巧操作，确保在整个转移过程中全身运动保持连续和耦合。我们开发了一种无追踪器的捕捉系统，仅使用消费级VR头显和头戴立体相机，避免了外部相机或运动追踪器的需求。经过三个明确的对齐阶段，成功将捕获的运动映射到机器人动作空间，保留了细粒度的全身运动，并允许人类和机器人示范通过标准VLA策略共同学习。实验证明，人类示范显著提高了策略学习的成功率。
🔬 方法详解
问题定义：本文旨在解决移动双手灵巧操作中人类示范转移到机器人操作的困难，现有方法往往简化人类运动，导致细粒度运动结构的丢失。
核心思路：DexRoam的核心思路是通过无追踪器的捕捉系统和三个对齐阶段，保持全身运动的连续性和耦合性，从而实现高效的示范转移。
技术框架：系统包括三个主要模块：无追踪器的捕捉系统、三个对齐阶段（体现、动作语义和时间对齐），以及基于VLA的联合学习策略。
关键创新：最重要的创新在于无追踪器的捕捉系统和对齐阶段的设计，使得细粒度的全身运动得以保留，显著提高了示范的有效性。
关键设计：在对齐阶段中，采用了特定的损失函数和网络结构，以确保运动的精确映射和细节保留，具体参数设置在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用人类示范后，策略学习的成功率显著提升，GR00T N1.7的平均成功率从29%提高至56%，pi0.5的成功率从32%提升至57%。此外，机器人仅需一半的人类示范即可达到与机器人单独训练相当的效果，验证了方法的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在服务机器人、医疗辅助、虚拟现实等领域。通过有效学习人类的灵巧操作，机器人能够更好地完成复杂任务，提高人机协作的效率和安全性，未来可能推动智能机器人在日常生活中的普及。
📄 摘要（原文）
Mobile bimanual dexterous manipulation requires continuous coordination of locomotion, whole-body motion, and finger-level dexterity within a single trajectory, creating a severe robot demonstration bottleneck. Egocentric human demonstrations offer a scalable alternative, but prior approaches ease the transfer by simplifying human motion, discarding exactly the fine-grained, coupled structure such tasks depend on. We present DexRoam, a complete system for learning mobile bimanual dexterous manipulation from human demonstrations, in which whole-body motion remains continuous and coupled throughout the human-to-robot transfer process. To enable scalable collection of whole-body human manipulation demonstrations, we develop a tracker-free capture system using only a consumer VR headset and a head-mounted stereo camera, without external cameras or motion trackers. We then perform three explicit alignment stages---embodiment, action-semantic, and temporal---to map captured motion into the robot action space, preserving fine-grained whole-body motion and allowing human and robot demonstrations to be jointly learned by standard VLA policies. Real-world experiments with different VLA backbones show that human demonstrations consistently improve policy learning across training paradigms, raising average success from 29% to 56% on GR00T N1.7 and from 32% to 57% on pi0.5, while matching robot-only training with half the robot demonstrations. Ablations confirm that each alignment stage is necessary. These results highlight the potential of human demonstrations for scalable whole-body mobile manipulation with preserved fine-grained motion structure.