FSGlove: An Inertial-Based Hand Tracking System with Shape-Aware Calibration

📄 arXiv: 2509.21242v1 📥 PDF

作者: Yutong Li, Jieyi Zhang, Wenqiang Xu, Tutian Tang, Cewu Lu

分类: cs.RO

发布日期: 2025-09-25

备注: Presented at IROS 2025, details are available at https://fsglove.robotflow.ai

💡 一句话要点

FSGlove：一种基于惯性传感器的手部追踪系统，通过形状感知校准实现高精度动作捕捉。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 手部动作捕捉 惯性传感器 可微优化 MANO模型 形状重建 虚拟现实 机器人遥操作

📋 核心要点

  1. 现有手部动作捕捉系统难以同时捕捉高自由度关节运动和个性化手部形状，限制了在复杂操作和接触任务中的应用。
  2. FSGlove通过在手指关节和手背部署IMU，结合DiffHCal校准方法，实现了高精度、高自由度的手部运动捕捉和形状重建。
  3. 实验表明，FSGlove的关节角度误差小于2.7度，在形状重建和接触保真度方面优于商用手套，并开源了软硬件设计。

📝 摘要（中文）

精确的手部动作捕捉（MoCap）对于机器人、虚拟现实和生物力学等应用至关重要，但现有系统在捕捉高自由度（DoF）关节运动学和个性化手部形状方面存在局限性。商用手套最多提供21个自由度，不足以进行复杂的操作，同时忽略了对于接触密集型任务至关重要的形状变化。我们提出了FSGlove，一种基于惯性传感器的系统，可以同时跟踪高达48个自由度，并通过一种新颖的校准方法DiffHCal重建个性化的手部形状。每个手指关节和手背都配备了IMU，从而实现高分辨率的运动感知。DiffHCal通过可微优化与参数化的MANO模型集成，在单个简化的校准过程中解决关节运动学、形状参数和传感器未对准问题。该系统实现了最先进的精度，关节角度误差小于2.7度，并且在形状重建和接触保真度方面优于商业替代方案。FSGlove的开源硬件和软件设计确保了与当前VR和机器人生态系统的兼容性，同时其捕捉细微运动（例如，指尖摩擦）的能力弥合了人类灵巧性和机器人模仿之间的差距。通过与Nokov光学MoCap进行评估，FSGlove通过统一运动学和接触保真度来推进手部追踪技术。硬件设计、软件和更多结果可在https://sites.google.com/view/fsglove上找到。

🔬 方法详解

问题定义：现有手部动作捕捉系统，如商用数据手套，通常自由度有限（例如21自由度），难以捕捉复杂的手部动作。同时，这些系统往往忽略了个性化的手部形状，这对于模拟接触密集型任务至关重要。因此，需要一种能够同时捕捉高自由度关节运动和个性化手部形状的系统。

核心思路：FSGlove的核心思路是利用惯性测量单元（IMU）的高精度运动捕捉能力，结合参数化的手部模型（MANO），通过可微优化方法（DiffHCal）同时估计关节运动学、手部形状参数和传感器校准参数。这种方法将运动学追踪和形状重建统一到一个框架中，从而提高了整体的精度和鲁棒性。

技术框架：FSGlove系统主要包含以下几个模块：1) 硬件部分：在每个手指关节和手背上安装IMU传感器，用于捕捉手部运动数据。2) 软件部分：DiffHCal校准算法，用于估计关节运动学、手部形状参数和传感器校准参数。3) MANO模型：参数化的手部模型，用于表示手部形状和运动。整个流程如下：首先，通过IMU传感器采集手部运动数据；然后，利用DiffHCal算法，结合MANO模型，对采集到的数据进行处理，估计关节角度和手部形状；最后，将估计结果应用于VR、机器人等应用中。

关键创新：FSGlove的关键创新在于DiffHCal校准方法。DiffHCal通过可微优化，将IMU数据、MANO模型和传感器校准集成到一个统一的框架中。这使得系统能够同时估计关节运动学、手部形状参数和传感器未对准误差，从而提高了整体的精度和鲁棒性。与传统的校准方法相比，DiffHCal不需要额外的外部设备或复杂的标定过程，简化了校准流程。

关键设计：DiffHCal算法的关键设计包括：1) 使用参数化的MANO模型来表示手部形状，从而可以有效地捕捉个性化的手部形状。2) 使用可微优化方法，将IMU数据、MANO模型和传感器校准集成到一个统一的框架中。3) 设计了合适的损失函数，用于优化关节角度、手部形状参数和传感器校准参数。损失函数通常包括IMU测量误差、MANO模型约束和正则化项。具体的参数设置需要根据实际应用进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FSGlove在实验中表现出色，关节角度误差小于2.7度，显著优于现有的商用手套。在形状重建方面，FSGlove能够更准确地捕捉个性化的手部形状，提高了接触保真度。与Nokov光学动作捕捉系统相比，FSGlove在某些场景下也表现出相当的精度，同时具有更高的便携性和灵活性。开源的硬件和软件设计也为研究人员和开发者提供了便利，促进了手部追踪技术的进一步发展。

🎯 应用场景

FSGlove具有广泛的应用前景，包括虚拟现实（VR）、机器人遥操作、康复医学和运动分析等领域。在VR中，FSGlove可以提供更自然、更沉浸式的手部交互体验。在机器人遥操作中，FSGlove可以帮助操作员更精确地控制机器人手臂，完成复杂的操作任务。在康复医学中，FSGlove可以用于评估和训练患者的手部功能。在运动分析中，FSGlove可以用于分析运动员的手部动作，提高运动表现。未来，FSGlove有望成为人机交互的重要组成部分，促进各领域的发展。

📄 摘要（原文）

Accurate hand motion capture (MoCap) is vital for applications in robotics, virtual reality, and biomechanics, yet existing systems face limitations in capturing high-degree-of-freedom (DoF) joint kinematics and personalized hand shape. Commercial gloves offer up to 21 DoFs, which are insufficient for complex manipulations while neglecting shape variations that are critical for contact-rich tasks. We present FSGlove, an inertial-based system that simultaneously tracks up to 48 DoFs and reconstructs personalized hand shapes via DiffHCal, a novel calibration method. Each finger joint and the dorsum are equipped with IMUs, enabling high-resolution motion sensing. DiffHCal integrates with the parametric MANO model through differentiable optimization, resolving joint kinematics, shape parameters, and sensor misalignment during a single streamlined calibration. The system achieves state-of-the-art accuracy, with joint angle errors of less than 2.7 degree, and outperforms commercial alternatives in shape reconstruction and contact fidelity. FSGlove's open-source hardware and software design ensures compatibility with current VR and robotics ecosystems, while its ability to capture subtle motions (e.g., fingertip rubbing) bridges the gap between human dexterity and robotic imitation. Evaluated against Nokov optical MoCap, FSGlove advances hand tracking by unifying the kinematic and contact fidelity. Hardware design, software, and more results are available at: https://sites.google.com/view/fsglove.