SEED-UMI: Sharing the Exoskeleton between human and robot for onE-to-one Dexterous demonstration
作者: Tengbo Yu, Jiahao Wu, Daohan Li, Bingxu Chen, Hao Liu, Xiaojian Ma, Hangxin Liu
分类: cs.RO
发布日期: 2026-09-10
💡 一句话要点
提出SEED-UMI框架以解决人机协作中的模仿学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)
关键词: 模仿学习 外骨骼 人机协作 机器人技术 数据收集效率 跨身体监督 灵巧手
📋 核心要点
- 现有的模仿学习方法在收集接触丰富的演示数据时效率低下，导致机器人学习效果不佳。
- SEED-UMI框架通过让人类和机器人共享同一外骨骼，实现了数据收集和策略执行的同步，提升了学习效率。
- 在五个接触丰富的任务中，SEED-UMI的实验结果显示出3.0倍的数据收集效率提升和70.0%的成功率。
📝 摘要（中文）
模仿学习在灵巧手的应用中面临着收集接触丰富的演示数据的困难，现有的可穿戴外骨骼系统仅在人体侧记录数据，并通过在自由空间中校准的开环映射进行重定向，这在接触情况下效果不佳。我们提出了SEED-UMI框架，其中人类和机器人共同穿戴相同的外骨骼：关节编码器成为物理共享的测量工具，安装在外骨骼上的手腕摄像头在数据收集和机器人策略执行中观察相同的外部机制。这种设计将重定向转变为配对的跨身体监督，使得策略能够直接在原始的以外骨骼为中心的手腕图像上进行训练，无需分割或修复。在五个接触丰富的任务中，SEED-UMI的数据显示收集效率提高了3.0倍，平均执行成功率达到70.0%。
🔬 方法详解
问题定义：本论文旨在解决模仿学习中收集接触丰富演示数据的困难。现有方法仅在人体侧记录数据，并通过开环映射进行重定向，导致在接触情况下效果不佳。
核心思路：SEED-UMI框架的核心思路是让人类和机器人共同穿戴相同的外骨骼，从而实现关节编码器的物理共享测量，并通过手腕摄像头观察相同的外部机制。这种设计使得重定向转变为配对的跨身体监督，直接在原始图像上进行策略训练。
技术框架：该框架包括两个主要模块：一是人类数据收集模块，二是机器人策略执行模块。两者通过共享的外骨骼和手腕摄像头进行数据同步，确保信息的一致性。
关键创新：最重要的技术创新在于将重定向过程转变为配对的跨身体监督，消除了对分割和修复的需求，直接利用原始图像进行训练。这与现有方法的本质区别在于数据处理的简化和效率的提升。
关键设计：在设计中，使用了高精度的关节编码器和高分辨率的手腕摄像头，确保数据的准确性和实时性。此外，损失函数的设计也考虑了跨身体监督的特性，以优化策略的学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SEED-UMI在五个接触丰富的任务中实现了3.0倍的数据收集效率提升，平均执行成功率达到70.0%。这一成果显著优于传统的外骨骼远程操作方法，展示了新框架在模仿学习中的有效性。
🎯 应用场景
该研究的潜在应用领域包括人机协作、机器人辅助技术和康复训练等。通过提升模仿学习的效率，SEED-UMI框架能够在实际应用中实现更高效的机器人学习，促进人机协作的智能化发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
Imitation learning for dexterous hands is bottlenecked by the difficulty of collecting contact-rich demonstrations that transfer faithfully to the robot. Prior wearable-exoskeleton systems record only on the human side and retarget via open-loop mappings calibrated in free space, which degrade under contact. We present SEED-UMI, a framework in which both the human and the robot wear the same exoskeleton: joint encoders become a physically shared measurement, and wrist cameras mounted to the exoskeleton observe the same outer mechanism during both human data collection and robot policy rollouts. This turns retargeting into paired cross-embodiment supervision and lets policies train directly on raw exoskeleton-centric wrist images, without segmentation or inpainting. On five contact-rich tasks, SEED-UMI achieves 3.0x greater data collection efficiency than exoskeleton-based teleoperation and a 70.0% average rollout success rate.