DexterCap: An Affordable and Automated System for Capturing Dexterous Hand-Object Manipulation

📄 arXiv: 2601.05844v1 📥 PDF

作者: Yutong Liang, Shiyi Xu, Yulong Zhang, Bowen Zhan, He Zhang, Libin Liu

分类: cs.GR, cs.AI, cs.RO

发布日期: 2026-01-09

备注: 12 pages, 12 figures

💡 一句话要点

DexterCap：一种低成本、自动化的灵巧手-物体交互捕获系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 灵巧手操作 动作捕捉 手部跟踪 光学系统 数据集

📋 核心要点

  1. 现有方法难以在手部自遮挡情况下准确捕捉灵巧操作，且光学动作捕捉系统成本高昂，低成本视觉方法精度不足。
  2. DexterCap采用密集字符编码的标记贴片，结合自动化重建流程，实现了在严重自遮挡下的鲁棒跟踪，降低了人工干预。
  3. 论文构建了DexterHand数据集，包含多种操作行为和对象，并开源数据集和代码，促进手-物体交互领域的研究。

📝 摘要（中文）

本文提出DexterCap，一个低成本的光学捕获系统，用于灵巧的掌内操作。由于手指间距小和掌内操作运动的细微性，捕获细粒度的手-物体交互极具挑战性，容易出现严重的自遮挡。现有的光学动作捕捉系统依赖于昂贵的相机设置和大量的手动后处理，而低成本的基于视觉的方法通常在遮挡下精度和可靠性降低。DexterCap使用密集的、字符编码的标记贴片，以在严重的自遮挡下实现鲁棒的跟踪，并结合自动化的重建流程，最大限度地减少手动工作。利用DexterCap，我们引入了DexterHand，一个细粒度的手-物体交互数据集，涵盖了从简单图元到复杂铰接物体（如魔方）的各种操作行为和对象。我们发布数据集和代码，以支持未来对手-物体交互的研究。

🔬 方法详解

问题定义：论文旨在解决灵巧手部操作捕捉中，由于严重自遮挡和细微运动导致的精度和成本问题。现有光学动作捕捉系统成本高昂，需要大量手动后处理，而低成本视觉方法在遮挡情况下表现不佳。

核心思路：论文的核心思路是利用低成本的光学系统，结合密集字符编码的标记贴片和自动化重建流程，实现鲁棒且高效的手部动作捕捉。通过字符编码标记，即使在部分遮挡情况下也能准确识别标记点，从而提高跟踪的鲁棒性。

技术框架：DexterCap系统的整体框架包括：1) 标记贴片设计与附着；2) 多相机同步采集；3) 标记点检测与识别；4) 三维重建；5) 手部模型拟合。系统首先在物体和手部表面贴上设计的标记贴片，然后通过多个同步相机采集图像，接着检测并识别图像中的标记点，利用多视角几何进行三维重建，最后将重建的三维点云拟合到手部模型上，得到最终的动作捕捉结果。

关键创新：论文的关键创新在于密集字符编码标记贴片的设计和自动化重建流程。字符编码标记贴片能够有效应对自遮挡问题，提高标记点识别的鲁棒性。自动化重建流程减少了手动干预，提高了数据处理的效率。

关键设计：标记贴片采用特定的字符编码方案，保证每个标记点具有唯一性，即使在部分遮挡情况下也能被准确识别。重建流程中，采用了多视角几何约束和优化算法，提高三维重建的精度。手部模型拟合过程中，使用了基于优化的方法，将重建的三维点云与手部模型进行对齐，得到最终的动作捕捉结果。

📊 实验亮点

论文提出了DexterCap系统，能够以较低的成本实现对灵巧手部操作的精确捕捉。通过使用密集字符编码的标记贴片和自动化重建流程，系统在严重自遮挡情况下表现出良好的鲁棒性。此外，论文构建了包含多种操作行为和对象的DexterHand数据集，为手-物体交互领域的研究提供了宝贵的数据资源。

🎯 应用场景

该研究成果可应用于机器人灵巧操作、虚拟现实/增强现实、人机交互、康复训练等领域。通过高精度地捕捉手部动作，可以提升机器人操作的智能化水平，增强虚拟现实/增强现实的沉浸感，改善人机交互的自然性，并为康复训练提供客观的运动数据。

📄 摘要（原文）

Capturing fine-grained hand-object interactions is challenging due to severe self-occlusion from closely spaced fingers and the subtlety of in-hand manipulation motions. Existing optical motion capture systems rely on expensive camera setups and extensive manual post-processing, while low-cost vision-based methods often suffer from reduced accuracy and reliability under occlusion. To address these challenges, we present DexterCap, a low-cost optical capture system for dexterous in-hand manipulation. DexterCap uses dense, character-coded marker patches to achieve robust tracking under severe self-occlusion, together with an automated reconstruction pipeline that requires minimal manual effort. With DexterCap, we introduce DexterHand, a dataset of fine-grained hand-object interactions covering diverse manipulation behaviors and objects, from simple primitives to complex articulated objects such as a Rubik's Cube. We release the dataset and code to support future research on dexterous hand-object interaction.