RealDexUMI: A Wearable Universal Manipulation Interface for Dexterous Robot Learning
作者: Chaoyi Xu, Yixuan Jiang, Jiahui Huan, Yuhui Fu, Haoyu Zhou, Weitian Yuan, Jiayi Yu, Wanpeng Zhang, Haoqi Yuan, Zongqing Lu
分类: cs.RO
发布日期: 2026-06-04
💡 一句话要点
提出RealDexUMI以解决灵巧机器人学习中的操作界面问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)
关键词: 灵巧操作 机器人学习 可穿戴技术 人机协作 触觉传感 实时控制 数据收集 跨体现转移
📋 核心要点
- 现有的灵巧操作学习方法在保持可部署性和灵巧性方面存在不足，导致数据收集效率低下。
- RealDexUMI通过可穿戴的同构遥控手套和共享的灵巧手模块，实现了实时、直观的手部控制，解决了现有方法的局限性。
- 在八个真实机器人任务中，基于RealDexUMI的数据训练策略成功率达到88.75%，展现了良好的泛化能力和跨体现转移能力。
📝 摘要（中文）
学习灵巧操作需要在保持细致手-物体交互的同时，确保在实际部署时可执行。现有方法往往通过重定向或体现转换失去可部署的灵巧性，或依赖于特定机器人的遥控操作，这种方法成本高且缺乏直观的、接触感知的控制。本文提出了RealDexUMI，这是一种可穿戴的通用操作界面，围绕共享的灵巧末端执行器模块构建，集成了轻量级的灵巧手、手内视觉和指尖触觉传感。手掌侧的同构遥控手套将人类手指输入映射到机器人手关节命令，实现实时、无重定向、直观且精确的手部控制。共享的手和传感模块提供零间隙的末端执行器数据，确保数据收集与部署之间的手内观察、触觉信号、接触和手部动作相匹配。在涵盖细粒度、接触丰富、长时间和双手操作的八个真实机器人任务中，基于RealDexUMI数据训练的策略平均成功率达到88.75%，能够在未见的初始姿态下泛化，并在三种体现之间转移。
🔬 方法详解
问题定义：本文旨在解决灵巧机器人学习中，现有方法在数据收集时失去可部署灵巧性和直观控制的问题。现有方法往往依赖于特定机器人的遥控操作，导致成本高且缺乏接触感知。
核心思路：RealDexUMI的核心思路是通过可穿戴的同构遥控手套，将人类手指输入直接映射到机器人手关节命令，确保实时、无重定向的直观控制。这种设计使得人类与机器人之间的操作更加自然和高效。
技术框架：RealDexUMI的整体架构包括三个主要模块：轻量级灵巧手、手内视觉系统和指尖触觉传感器。通过这些模块的协同工作，实现了高效的数据收集和灵巧操作。
关键创新：最重要的技术创新在于共享的灵巧手和传感模块，提供零间隙的末端执行器数据，确保数据收集与部署之间的无缝对接。这与现有方法的本质区别在于消除了重定向过程。
关键设计：在设计中，手套的映射算法经过优化，以确保人类手指动作与机器人手关节动作的精确对应。此外，触觉传感器的布局和灵巧手的结构设计也经过精心调整，以提高操作的灵活性和反馈的准确性。
🖼️ 关键图片
📊 实验亮点
在实验中，基于RealDexUMI数据训练的策略在八个真实机器人任务中平均成功率达到88.75%。该策略不仅能够在未见的初始姿态下泛化，还能在三种不同的机器人体现之间实现有效转移，展示了其优越的灵活性和适应性。
🎯 应用场景
RealDexUMI的研究成果在多个领域具有广泛的应用潜力，包括人机协作、服务机器人、医疗辅助和教育等。通过提供直观的操作界面，该技术能够提升机器人在复杂环境中的操作能力，促进灵巧机器人技术的普及与发展。
📄 摘要（原文）
Learning dexterous manipulation requires demonstrations that preserve fine hand-object interactions while remaining executable at deployment. Existing pipelines either lose deployable dexterity through retargeting or embodiment conversion, or rely on robot-specific teleoperation that is costly to scale and often lacks intuitive, contact-aware control for dexterous data collection. We present RealDexUMI, a wearable universal manipulation interface built around a shared dexterous end-effector module that integrates a lightweight dexterous hand, in-hand vision, and fingertip tactile sensing. A palm-side isomorphic teleoperation glove maps human finger inputs to robot-hand joint commands, enabling real-time, retargeting-free, intuitive, and precise hand control. The shared hand and sensing modules yield zero-gap end-effector data, with matched in-hand observations, tactile signals, contacts, and hand actions between collection and deployment. Across eight real-robot tasks spanning fine-grained, contact-rich, long-horizon, and bimanual manipulation, policies trained on RealDexUMI data achieve an average success rate of 88.75%, generalize to unseen initial poses, and transfer across three embodiments. Website: https://research.beingbeyond.com/realdexumi