DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

📄 arXiv: 2505.21864v3 📥 PDF

作者: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song

分类: cs.RO

发布日期: 2025-05-28 (更新: 2025-10-02)

💡 一句话要点

提出DexUMI以解决人机交互中的灵巧操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 灵巧操作 人机交互 机器人手 数据收集 策略学习 可穿戴设备 图像修复

📋 核心要点

  1. 现有方法在将人类灵巧操作技能转移到机器人手时面临体现差距，导致操作效果不佳。
  2. DexUMI通过可穿戴手部外骨骼和高保真机器人手修复，解决了人手与机器人手之间的运动学和视觉差距。
  3. 在两种不同的灵巧机器人手平台上进行的实验表明，DexUMI的平均任务成功率达到了86%，显著提升了操作成功率。

📝 摘要（中文）

我们提出了DexUMI——一个数据收集和策略学习框架，利用人手作为自然接口，将灵巧操作技能转移到各种机器人手上。DexUMI通过硬件和软件适配，最小化人手与机器人手之间的体现差距。硬件适配通过可穿戴手部外骨骼弥补运动学差距，允许在数据收集过程中直接进行触觉反馈，并将人类动作适配为可行的机器人手动作。软件适配则通过高保真机器人手的修复，弥补视觉差距。我们通过在两种不同灵巧机器人手硬件平台上的全面实验证明了DexUMI的能力，平均任务成功率达到86%。

🔬 方法详解

问题定义：本论文旨在解决人类灵巧操作技能向机器人手转移过程中的体现差距问题。现有方法在这一过程中面临运动学和视觉上的障碍，导致操作效果不理想。

核心思路：DexUMI的核心思路是利用人手作为自然接口，通过硬件和软件的双重适配，减少人手与机器人手之间的差距，从而实现高效的技能转移。

技术框架：DexUMI的整体架构包括两个主要模块：硬件适配模块和软件适配模块。硬件适配模块使用可穿戴手部外骨骼来捕捉人手动作并提供触觉反馈；软件适配模块则通过高保真机器人手的修复技术，处理视频数据中的人手图像。

关键创新：DexUMI的关键创新在于其硬件和软件的结合使用，特别是可穿戴外骨骼的应用和高保真图像修复技术的结合，使得人手与机器人手之间的运动学和视觉差距得以有效弥补。

关键设计：在硬件设计中，外骨骼的灵活性和舒适性是关键参数；在软件设计中，采用了先进的图像修复算法，以确保机器人手的高保真度和自然性。

📊 实验亮点

在实验中，DexUMI在两种不同的灵巧机器人手平台上实现了平均86%的任务成功率，相较于现有方法有显著提升。这一结果表明DexUMI在灵巧操作技能转移中的有效性和实用性。

🎯 应用场景

DexUMI的研究成果具有广泛的应用潜力，尤其在服务机器人、医疗机器人和人机协作领域。通过实现更自然的操作接口，DexUMI可以提升机器人在复杂环境中的灵活性和适应性，推动智能机器人技术的进步。

📄 摘要（原文）

We present DexUMI - a data collection and policy learning framework that uses the human hand as the natural interface to transfer dexterous manipulation skills to various robot hands. DexUMI includes hardware and software adaptations to minimize the embodiment gap between the human hand and various robot hands. The hardware adaptation bridges the kinematics gap using a wearable hand exoskeleton. It allows direct haptic feedback in manipulation data collection and adapts human motion to feasible robot hand motion. The software adaptation bridges the visual gap by replacing the human hand in video data with high-fidelity robot hand inpainting. We demonstrate DexUMI's capabilities through comprehensive real-world experiments on two different dexterous robot hand hardware platforms, achieving an average task success rate of 86%.