DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation

📄 arXiv: 2509.04441v2 📥 PDF

作者: Hao-Shu Fang, Branden Romero, Yichen Xie, Arthur Hu, Bo-Ruei Huang, Juan Alvarez, Matthew Kim, Gabriel Margolis, Kavya Anbarasu, Masayoshi Tomizuka, Edward Adelson, Pulkit Agrawal

分类: cs.RO, cs.AI, cs.CV, cs.HC

发布日期: 2025-09-04 (更新: 2025-09-08)

备注: project page: https://dex-op.github.io

💡 一句话要点

DEXOP：一种用于机器人灵巧操作迁移的设备

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人灵巧操作 人机交互 数据采集 技能迁移 外骨骼

📋 核心要点

  1. 现有机器人灵巧操作数据收集方法效率低，难以将人类技能有效迁移到机器人。
  2. DEXOP通过被动式手部外骨骼，实现人类手指与机器人手指的机械连接和姿势镜像，提供力反馈。
  3. 实验表明，DEXOP能够高效收集高质量演示数据，显著提升机器人灵巧操作任务的性能。

📝 摘要（中文）

本文提出了一种围手术期（perioperation）范式，用于机器人数据采集，该范式对人类操作进行传感器化记录，并最大限度地将数据迁移到真实机器人。我们在DEXOP中实现了这种范式，DEXOP是一种被动式手部外骨骼，旨在最大限度地提高人类在自然环境中为各种灵巧操作任务收集丰富感觉（视觉+触觉）数据的能力。DEXOP通过机械方式将人类手指连接到机器人手指，为用户提供直接的接触反馈（通过本体感觉），并将人类手部姿势镜像到被动机器人手部，从而最大限度地将演示技能转移到机器人。与遥操作相比，力反馈和姿势镜像使任务演示对人类来说更加自然，从而提高了速度和准确性。我们在一系列灵巧、接触丰富的任务中评估了DEXOP，证明了其大规模收集高质量演示数据的能力。与遥操作相比，使用DEXOP数据学习的策略显著提高了单位时间数据采集的任务性能，使DEXOP成为推进机器人灵巧性的强大工具。我们的项目页面位于https://dex-op.github.io。

🔬 方法详解

问题定义：现有机器人灵巧操作的数据收集方法，如遥操作，往往不够自然，导致数据质量不高，难以训练出高性能的机器人控制策略。此外，如何将人类的灵巧操作技能有效地迁移到机器人是一个挑战。现有方法在数据采集效率和技能迁移效果上存在不足。

核心思路：DEXOP的核心思路是创建一个人机交互界面，让人类能够自然地演示灵巧操作任务，同时将这些操作数据高效地传递给机器人。通过机械连接和姿势镜像，DEXOP实现了人类操作与机器人操作的直接对应，从而简化了技能迁移的过程。力反馈的引入增强了操作的自然性。

技术框架：DEXOP系统包含一个被动式手部外骨骼，用于连接人类的手指和机器人手指。人类佩戴外骨骼进行操作，外骨骼将人类的手部姿势镜像到机器人手部。同时，外骨骼提供力反馈，让用户感受到与环境的交互力。系统记录人类的操作数据（视觉和触觉），用于训练机器人的控制策略。整体流程包括：人类演示 -> 数据采集 -> 策略学习 -> 机器人执行。

关键创新：DEXOP的关键创新在于其被动式手部外骨骼的设计，该设计实现了人类操作与机器人操作的机械连接和姿势镜像，并提供了力反馈。这种设计使得数据采集过程更加自然高效，并且简化了技能迁移的过程。与传统的遥操作方法相比，DEXOP能够收集更高质量的演示数据。

关键设计：DEXOP外骨骼的关键设计包括：1) 机械连接结构，确保人类手指与机器人手指的运动对应；2) 力反馈机制，提供自然的接触感觉；3) 传感器集成，用于记录手部姿势、力、视觉和触觉数据。具体参数设置和网络结构取决于具体的机器人控制策略，论文中可能没有详细描述。

📊 实验亮点

实验结果表明，使用DEXOP收集的数据训练的机器人控制策略，在灵巧操作任务上的性能显著优于使用遥操作数据训练的策略。具体而言，DEXOP在单位时间内的数据采集效率更高，并且能够学习到更鲁棒、更精确的控制策略。DEXOP证明了其在机器人灵巧操作数据收集方面的优势。

🎯 应用场景

DEXOP技术可应用于各种需要灵巧操作的机器人应用场景，如工业自动化、医疗手术、家庭服务等。它可以帮助机器人学习执行复杂的装配、抓取、操作等任务，提高机器人的智能化水平和工作效率。该技术还有助于开发更自然、更易于使用的机器人人机交互界面，促进人与机器人之间的协作。

📄 摘要（原文）

We introduce perioperation, a paradigm for robotic data collection that sensorizes and records human manipulation while maximizing the transferability of the data to real robots. We implement this paradigm in DEXOP, a passive hand exoskeleton designed to maximize human ability to collect rich sensory (vision + tactile) data for diverse dexterous manipulation tasks in natural environments. DEXOP mechanically connects human fingers to robot fingers, providing users with direct contact feedback (via proprioception) and mirrors the human hand pose to the passive robot hand to maximize the transfer of demonstrated skills to the robot. The force feedback and pose mirroring make task demonstrations more natural for humans compared to teleoperation, increasing both speed and accuracy. We evaluate DEXOP across a range of dexterous, contact-rich tasks, demonstrating its ability to collect high-quality demonstration data at scale. Policies learned with DEXOP data significantly improve task performance per unit time of data collection compared to teleoperation, making DEXOP a powerful tool for advancing robot dexterity. Our project page is at https://dex-op.github.io.