Human2Dex: Dexterous Robot Learning from Wrist-Centric Human Demonstrations

📄 arXiv: 2610.13119v1 📥 PDF

作者: Jiachen Zhang, Yuanyuan Li, Shaqi Luo

分类: cs.RO

发布日期: 2026-10-09

备注: 8 pages, 6 figures. Project website: https://human2dex.pages.dev/

💡 一句话要点

提出Human2Dex以解决机器人手灵巧操作数据收集问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 灵巧操作 人类演示 机器人学习 手腕中心 抓取-口袋交互 数据重用 策略学习

📋 核心要点

  1. 现有方法需要为每个机器人手收集特定的任务演示，导致数据采集效率低下。
  2. Human2Dex通过共享人类演示数据，利用手腕中心的表示来实现不同机器人手的灵巧操作学习。
  3. 在六个真实任务中，Human2Dex在不同机器人手上取得了显著的成功率，显示出其有效性。

📝 摘要（中文）

收集每个机器人手的灵巧操作演示需要重复的任务特定数据采集。本文提出Human2Dex，一个以手腕为中心的人类演示接口，旨在将共享的人类观察和运动语义与特定执行分离。通过局部手部外观适应和共享的21点手部表示，Human2Dex能够将人类手部运动重定向到目标机器人手上，并引入了抓取-口袋交互表示（GPIR），以相对于手中心功能抓取口袋表达跟踪对象。实验结果显示，Human2Dex在六个真实任务中取得了显著成功，支持以手腕为中心的人类演示作为可重用接口，保留特定于体现的策略学习。

🔬 方法详解

问题定义：本文解决的问题是如何在不为每个目标机器人手收集特定任务演示的情况下，实现灵巧操作的学习。现有方法的痛点在于数据采集的重复性和效率低下。

核心思路：Human2Dex的核心思路是利用共享的人类演示数据，通过手腕中心的表示来实现对不同机器人手的灵巧操作学习。这种设计旨在提高数据的重用性和学习效率。

技术框架：Human2Dex的整体架构包括人类观察的适应、共享的手部表示、运动重定向和抓取-口袋交互表示（GPIR）。这些模块共同工作，以实现从人类演示到机器人手的有效转化。

关键创新：最重要的技术创新点在于引入了GPIR，使得跟踪对象能够相对于手中心的功能抓取口袋进行表达。这一创新与现有方法的本质区别在于其对手部运动的语义理解和重定向能力。

关键设计：在关键设计方面，论文详细描述了局部手部外观适应的过程、21点手部表示的构建，以及如何进行动作标签的规范化和训练。每个机器人手的策略学习仍然是特定的，确保了灵巧操作的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个真实任务中，Human2Dex在Linker O6上取得了90.8%的成功率（109/120），在Wuji上取得了80.8%的成功率（97/120）。相比之下，传统的Human-Raw方法仅取得了26.3%的成功率（63/240），显示出Human2Dex的显著提升。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等。通过提供一个可重用的人类演示接口，Human2Dex能够显著降低机器人手的学习成本，提高灵巧操作的效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Collecting dexterous manipulation demonstrations for each robot hand requires repeated task-specific data acquisition. We ask whether one shared corpus of natural human demonstrations can instead serve as a reusable data interface for different dexterous hands, without collecting task demonstrations on each target robot. We present Human2Dex, a wrist-centric human demonstration interface that separates shared human observation and motion semantics from embodiment-specific execution. It aligns observations through local hand-appearance adaptation and a shared 21-point hand representation with consistent structural semantics across human and robot observations. It constructs executable supervision by retargeting fused human hand motion to each target hand, and introduces the Grasp-Pocket Interaction Representation (GPIR) to express tracked objects relative to a hand-centered Functional Grasp Pocket. The corpus is converted into separate training sets for Linker O6 and Wuji, while action labels, normalization, training, and diffusion-policy checkpoints remain hand-specific. Across six real-world tasks, Human2Dex achieves 109/120 (90.8%) successes on Linker O6 and 97/120 (80.8%) on Wuji. Across both hands, Human-Raw achieves 63/240 (26.3%) successes, whereas the complete Human2Dex configuration achieves 206/240 (85.8%). These results support the use of wrist-centric human demonstrations as a reusable interface across calibrated dexterous hands while retaining embodiment-specific policy learning. The project website is publicly available at https://human2dex.pages.dev/.