DexPort: A Hand-Held Skill Interface for Dexterous Hand Data Collection
作者: Amber Xie, Jiawei Fu, Xiaofeng Guo, Carmelo Sferrazza, Guanya Shi, Haozhi Qi
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-10-23
备注: Website: https://amberxie88.github.io/dexport/
💡 一句话要点
提出DexPort以解决灵巧手数据收集难题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 灵巧操作 数据收集 机器人技术 行为克隆 人机协作 便携式接口 视觉运动策略
📋 核心要点
- 现有的灵巧操作数据收集方法依赖于复杂的遥操作，难以高效获取高质量演示。
- DexPort通过便携式接口简化了数据收集过程，允许操作员直接控制机器人腕部运动和手指协调。
- 在四个任务中，使用记录的机器人指令相比状态提升了11%到64%的性能，实际应用中成功率提升了36%到78%。
📝 摘要（中文）
收集高质量的演示数据是学习灵巧操作的主要瓶颈。现有的遥操作需要完整的机器人设置，并且操作员需协调多个手指关节。人类演示虽然更易收集，但其动作需估计并重新定向至机器人，且无法直接提供机器人动作。本文提出DexPort，一个便携式数据收集接口，使用相同的手部硬件进行收集和部署，避免了手部体现差距，并记录指令关节目标和测量关节状态。通过收集少量技能，支持多种灵巧任务，操作员通过手持接口指定机器人腕部运动并选择或调整协调手指运动的技能。我们在多个真实任务和非结构化环境中收集了2500多个演示，并通过行为克隆直接训练视觉运动策略，取得了显著的任务成功率提升。
🔬 方法详解
问题定义：本文旨在解决灵巧手数据收集中的高质量演示获取难题。现有方法如遥操作需要复杂的机器人设置，且操作员需协调多个手指关节，导致效率低下。
核心思路：DexPort提供了一个便携式的数据收集接口，使用相同的手部硬件进行收集和部署，避免了手部体现差距。操作员通过手持设备指定机器人腕部运动，并选择或调整技能来协调手指运动，从而简化了控制过程。
技术框架：DexPort的整体架构包括数据收集模块和行为克隆训练模块。数据收集模块记录操作员的手部动作和机器人关节状态，而行为克隆模块则利用这些数据训练视觉运动策略。
关键创新：DexPort的主要创新在于其便携性和简化的控制方式，允许操作员在不需要复杂设置的情况下收集高质量的演示数据。这种方法与传统的遥操作方法本质上不同，后者依赖于复杂的机器人控制。
关键设计：在设计中，DexPort使用了相同的硬件进行数据收集和执行，确保了数据的一致性。关键参数包括关节目标和状态的记录方式，以及行为克隆训练中使用的损失函数和网络结构设计。通过这种设计，系统能够有效地学习到灵巧操作的策略。
🖼️ 关键图片
📊 实验亮点
在实验中，DexPort在四个任务上表现出色，使用记录的机器人指令相比状态提升了11%到64%的性能，实际应用中成功率提升了36%到78%。这些结果表明，DexPort在灵巧操作数据收集中的有效性和实用性。
🎯 应用场景
DexPort的研究成果具有广泛的应用潜力，尤其在机器人操作、自动化制造和人机协作等领域。通过简化数据收集过程，能够加速灵巧操作的学习和应用，提升机器人在复杂环境中的适应能力。未来，DexPort可能会推动更多智能设备的开发与应用，促进人机交互的自然化。
📄 摘要（原文）
Collecting high-quality demonstrations remains a central bottleneck for learning dexterous manipulation. Teleoperation records executable robot actions, but it requires a complete robot setup and places the burden of coordinating many finger joints on the operator. Human demonstrations are easier to collect, but their motions must be estimated and retargeted to the robot, and they do not directly provide robot actions. In this paper, we introduce DexPort, a portable data-collection interface for high-DoF robot hands. It uses the same hand hardware for collection and deployment, avoiding a hand embodiment gap, and records both commanded joint targets and measured joint states. Our key observation is that a small set of skills can support a wide range of dexterous tasks. During collection, the operator moves the hand-held interface to specify the robot wrist motion and selects or adjusts skills that coordinate the finger motion. This removes the need to control each joint independently while retaining behaviors such as precise grasping and in-hand manipulation. We collect demonstrations across several real-world tasks and in unstructured environments without a robot arm. We then use behavior cloning to train visuomotor policies directly on the recorded wrist motions and hand commands, without skill labels. We evaluate across 4 tasks: pick-and-place with diverse objects, screwing with in-hand tool use, drawer stowage which requires simultaneous grasp and pulling, and a bimanual scanning task. We collect over 2,500 demonstrations with our portable device, in both laboratory and in-the-wild settings. Across our tasks, we see an improvement from 11% to 64% when using recorded robot commands instead of states, and an improvement from 36% to 78% for task success when using in-the-wild data.