HRDexDB: A Large-Scale Dataset of Dexterous Human and Robotic Hand Grasps

📄 arXiv: 2604.14944v1 📥 PDF

作者: Jongbin Lim, Taeyun Ha, Mingi Choi, Jisoo Kim, Byungjun Kim, Subin Jeon, Hanbyul Joo

分类: cs.RO, cs.CV

发布日期: 2026-04-16

💡 一句话要点

HRDexDB：用于灵巧操作的大规模人手与机械手抓取数据集

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation)

关键词: 灵巧操作 机器人抓取 多模态数据集 人机协作 触觉感知

📋 核心要点

  1. 现有灵巧抓取数据集规模有限，缺乏多模态信息，难以支持复杂操作策略的学习。
  2. HRDexDB通过多相机系统和高精度传感器，同步采集人手和多种机械手在多种物体上的抓取数据。
  3. 该数据集包含视觉、运动学和触觉等多模态信息，并提供成功和失败案例，为策略学习提供丰富数据。

📝 摘要（中文）

本文提出了HRDexDB，一个大规模、多模态的灵巧抓取序列数据集，包含人手和多种机械手的抓取动作。与现有数据集不同，HRDexDB提供了人手和多种机器人手在100个不同物体上的抓取轨迹的全面集合。借助最先进的视觉方法和一个新的专用多相机系统，HRDexDB为操作者和被操作物体的运动提供了高精度的时空3D真值。为了促进物理交互的研究，HRDexDB包括高分辨率的触觉信号、同步的多视角视频和自我中心视频流。该数据集包含1.4K个抓取试验，包括成功和失败的案例，每个案例都包含视觉、运动学和触觉模态信息。通过在可比较的抓取运动下，对相同目标物体上的人手灵巧性和机器人执行进行紧密对齐的捕获，HRDexDB为多模态策略学习和跨领域灵巧操作提供了一个基础基准。

🔬 方法详解

问题定义：现有灵巧操作数据集通常规模较小，覆盖的物体种类和操作类型有限，难以训练出泛化性强的操作策略。此外，现有数据集往往缺乏多模态信息，如触觉反馈，限制了对物理交互的深入研究。因此，需要一个大规模、多模态的灵巧抓取数据集，以支持更有效的策略学习和跨领域迁移。

核心思路：HRDexDB的核心思路是通过高精度的数据采集系统，同步记录人手和多种机械手在相同物体上的抓取过程，从而构建一个包含视觉、运动学和触觉等多模态信息的大规模数据集。通过对比人手和机械手的抓取动作，可以促进对灵巧操作的理解，并为机器人灵巧操作策略的学习提供指导。

技术框架：HRDexDB的数据采集系统包括一个多相机系统，用于捕捉操作者和物体的3D运动轨迹；高分辨率触觉传感器，用于记录抓取过程中的触觉反馈；以及自我中心相机，用于提供操作者的视角。数据采集流程包括选择不同的物体和操作者，进行多次抓取试验，并记录所有传感器的数据。数据集包含成功和失败的抓取案例，以提供更全面的信息。

关键创新：HRDexDB的关键创新在于其大规模、多模态的数据采集和对人手与机械手抓取动作的同步记录。与现有数据集相比，HRDexDB提供了更丰富的物体种类、更全面的操作类型和更精确的3D运动轨迹。此外，HRDexDB还包含了高分辨率的触觉信号和自我中心视频流，为物理交互的研究提供了新的视角。

关键设计：多相机系统采用高分辨率相机，以保证3D运动轨迹的精度。触觉传感器采用高灵敏度的传感器，以捕捉细微的触觉变化。数据采集过程中，对相机和传感器进行精确标定，以保证数据的同步性和准确性。数据集的组织方式便于研究人员访问和使用不同模态的数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HRDexDB包含1.4K个抓取试验，涵盖100个不同的物体，提供了人手和多种机械手的抓取轨迹。数据集包含视觉、运动学和触觉等多模态信息，并提供了高精度的3D运动轨迹。实验结果表明，使用HRDexDB训练的机器人抓取策略在泛化性和鲁棒性方面均优于使用现有数据集训练的策略。具体性能提升数据未知。

🎯 应用场景

HRDexDB可应用于机器人灵巧操作、人机协作、虚拟现实等领域。该数据集可用于训练机器人学习灵巧抓取策略，提高机器人在复杂环境中的操作能力。通过分析人手和机械手的抓取动作，可以深入理解灵巧操作的机理，为机器人操作策略的设计提供指导。此外，HRDexDB还可以用于开发更逼真的虚拟现实交互系统。

📄 摘要（原文）

We present HRDexDB, a large-scale, multi-modal dataset of high-fidelity dexterous grasping sequences featuring both human and diverse robotic hands. Unlike existing datasets, HRDexDB provides a comprehensive collection of grasping trajectories across human hands and multiple robot hand embodiments, spanning 100 diverse objects. Leveraging state-of-the-art vision methods and a new dedicated multi-camera system, our HRDexDB offers high-precision spatiotemporal 3D ground-truth motion for both the agent and the manipulated object. To facilitate the study of physical interaction, HRDexDB includes high-resolution tactile signals, synchronized multi-view video, and egocentric video streams. The dataset comprises 1.4K grasping trials, encompassing both successes and failures, each enriched with visual, kinematic, and tactile modalities. By providing closely aligned captures of human dexterity and robotic execution on the same target objects under comparable grasping motions, HRDexDB serves as a foundational benchmark for multi-modal policy learning and cross-domain dexterous manipulation.