DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation

📄 arXiv: 2509.04441v2 📥 PDF

作者: Hao-Shu Fang, Branden Romero, Yichen Xie, Arthur Hu, Bo-Ruei Huang, Juan Alvarez, Matthew Kim, Gabriel Margolis, Kavya Anbarasu, Masayoshi Tomizuka, Edward Adelson, Pulkit Agrawal

分类: cs.RO, cs.AI, cs.CV, cs.HC

发布日期: 2025-09-04 (更新: 2025-09-08)

备注: project page: https://dex-op.github.io

💡 一句话要点

DEXOP：一种用于机器人灵巧操作迁移的设备

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人灵巧操作 人机交互 数据收集 力反馈 外骨骼

📋 核心要点

  1. 现有机器人灵巧操作数据收集方法（如遥操作）效率低、数据质量差，难以有效迁移到真实机器人。
  2. DEXOP通过被动式手部外骨骼，将人类手指与机器人手指机械连接，实现力反馈和姿势镜像，使演示更自然。
  3. 实验表明，使用DEXOP收集的数据训练的策略，在单位时间内任务性能显著优于遥操作，提升了机器人灵巧性。

📝 摘要（中文）

本文提出了一种围手术期（perioperation）范式，用于机器人数据采集，该范式对人类操作进行传感器化和记录，同时最大化数据到真实机器人的可迁移性。我们通过DEXOP实现了这一范式，DEXOP是一种被动式手部外骨骼，旨在最大限度地提高人类在自然环境中为各种灵巧操作任务收集丰富的感官（视觉+触觉）数据的能力。DEXOP通过机械方式将人类手指连接到机器人手指，为用户提供直接的接触反馈（通过本体感觉），并将人类手部姿势镜像到被动机器人手部，从而最大限度地将演示技能转移到机器人。与遥操作相比，力反馈和姿势镜像使任务演示对人类来说更自然，从而提高了速度和准确性。我们在一系列灵巧的、接触丰富的任务中评估了DEXOP，证明了其大规模收集高质量演示数据的能力。与遥操作相比，使用DEXOP数据学习的策略显著提高了单位时间数据采集的任务性能，使DEXOP成为推进机器人灵巧性的强大工具。我们的项目页面位于https://dex-op.github.io。

🔬 方法详解

问题定义：论文旨在解决机器人灵巧操作数据收集和迁移的问题。现有方法，如遥操作，存在数据质量不高、收集效率低等问题，导致训练出的机器人策略泛化能力差，难以适应真实环境中的复杂操作任务。这些痛点限制了机器人灵巧操作的发展。

核心思路：论文的核心思路是设计一种新型的人机交互设备DEXOP，通过机械连接和力反馈机制，让人类能够自然地演示灵巧操作任务，同时将人类的动作和感觉信息精确地传递给机器人。这种方式旨在提高数据质量，加快数据收集速度，并增强机器人策略的可迁移性。

技术框架：DEXOP系统主要包含以下几个部分：1) 被动式手部外骨骼：连接人类手指和机器人手指，实现姿势镜像；2) 力反馈机制：提供直接的接触反馈，增强操作的自然性；3) 传感器系统：收集视觉和触觉数据，用于机器人策略学习。整个流程是，人类佩戴DEXOP进行任务演示，DEXOP记录人类的动作和感觉数据，然后使用这些数据训练机器人策略。

关键创新：DEXOP的关键创新在于其被动式机械连接和力反馈设计。与传统的遥操作相比，DEXOP不需要人类主动控制机器人，而是通过机械结构将人类的动作直接传递给机器人，同时提供力反馈，使人类能够像操作真实物体一样进行演示。这种设计显著提高了数据质量和收集效率。

关键设计：DEXOP的关键设计包括：1) 外骨骼的机械结构，需要保证运动的自由度和力传递的精确性；2) 力反馈机制的设计，需要提供足够真实和自然的力感；3) 传感器系统的选择和配置，需要能够收集到足够丰富和准确的视觉和触觉数据。论文中可能还涉及一些参数的优化，例如外骨骼的尺寸、力反馈的强度等，以适应不同的人手和任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用DEXOP收集的数据训练的机器人策略，在灵巧操作任务上的性能显著优于使用遥操作数据训练的策略。具体而言，DEXOP在单位时间内的数据收集效率更高，并且训练出的策略具有更好的泛化能力和鲁棒性。这些结果验证了DEXOP在提高机器人灵巧操作能力方面的有效性。

🎯 应用场景

DEXOP技术可应用于各种需要灵巧操作的机器人应用场景，如医疗手术机器人、工业装配机器人、家庭服务机器人等。通过高效收集高质量的演示数据，可以加速机器人策略的学习和优化，提高机器人在复杂环境中的适应性和操作能力，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

We introduce perioperation, a paradigm for robotic data collection that sensorizes and records human manipulation while maximizing the transferability of the data to real robots. We implement this paradigm in DEXOP, a passive hand exoskeleton designed to maximize human ability to collect rich sensory (vision + tactile) data for diverse dexterous manipulation tasks in natural environments. DEXOP mechanically connects human fingers to robot fingers, providing users with direct contact feedback (via proprioception) and mirrors the human hand pose to the passive robot hand to maximize the transfer of demonstrated skills to the robot. The force feedback and pose mirroring make task demonstrations more natural for humans compared to teleoperation, increasing both speed and accuracy. We evaluate DEXOP across a range of dexterous, contact-rich tasks, demonstrating its ability to collect high-quality demonstration data at scale. Policies learned with DEXOP data significantly improve task performance per unit time of data collection compared to teleoperation, making DEXOP a powerful tool for advancing robot dexterity. Our project page is at https://dex-op.github.io.