Multi-Rigid-Body Approximation of Human Hands with Application to Digital Twin

📄 arXiv: 2512.07359v1 📥 PDF

作者: Bin Zhao, Yiwen Lu, Haohua Zhu, Xiao Li, Sheng Yi

分类: cs.RO, cs.GR

发布日期: 2025-12-08

备注: 10 pages, 4 figures. Accepted at ICBSR'25 (International Conference on Biomechanical Systems and Robotics)

💡 一句话要点

提出一种人体手部多刚体近似方法，应用于数字孪生，实现高精度实时模拟。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 多刚体近似 人体手部建模 数字孪生 MANO模型 URDF 运动捕捉

📋 核心要点

  1. 现有手部模拟方法难以兼顾解剖学精度和计算效率，限制了其在数字孪生等实时性要求高的场景中的应用。
  2. 该论文提出一种基于MANO模型的多刚体近似方法，将连续的关节运动转化为离散的刚体连接，以提高计算效率。
  3. 实验结果表明，该方法能够以亚厘米级的精度重建手部动作，并成功应用于强化学习控制的抓取任务中。

📝 摘要（中文）

本文提出了一种完整的流程，用于构建人体手部的多刚体近似模型，该模型在保持逼真外观的同时，能够实现实时的物理模拟，适用于数字孪生应用。该方法从特定人手的光学动作捕捉数据出发，构建个性化的MANO模型，并将其转换为具有解剖学一致关节轴的URDF表示。关键的技术挑战在于将MANO模型中无约束的SO(3)关节旋转投影到刚体模型的运动学约束关节上。针对单自由度关节，我们推导了闭式解；针对双自由度关节，我们引入了Baker-Campbell-Hausdorff (BCH) 校正的迭代方法，以正确处理旋转的非交换性。通过数字孪生实验验证了该方法的有效性，其中强化学习策略控制多刚体手部模型来重现捕获的人类演示。定量评估表明，重建误差在亚厘米级别，并且能够在各种操作任务中成功执行抓取。

🔬 方法详解

问题定义：现有手部模拟方法通常面临精度和效率的权衡。高精度的模型计算复杂度高，难以满足数字孪生等实时性要求高的应用场景。而简化模型虽然计算效率高，但可能牺牲了手部的解剖学细节和运动的真实性。因此，需要一种能够在精度和效率之间取得平衡的手部建模方法。

核心思路：该论文的核心思路是将连续的MANO手部模型转化为多刚体模型，利用刚体动力学引擎进行模拟，从而提高计算效率。同时，通过特定的约束和优化方法，尽可能地保留原始MANO模型的解剖学结构和运动特征。关键在于将MANO模型的SO(3)旋转映射到具有运动学约束的刚体关节上。

技术框架：该方法主要包含以下几个阶段：1) 使用光学动作捕捉数据构建个性化的MANO模型。2) 将MANO模型转换为URDF格式的多刚体模型，并确保关节轴的解剖学一致性。3) 将MANO模型的无约束SO(3)旋转投影到刚体模型的约束关节上，针对单自由度关节使用闭式解，针对双自由度关节使用BCH校正的迭代方法。4) 使用强化学习策略控制多刚体手部模型，并在数字孪生环境中进行实验验证。

关键创新：该论文的关键创新在于提出了针对双自由度关节的BCH校正迭代方法，用于解决MANO模型到多刚体模型转换过程中的旋转非交换性问题。传统的投影方法可能会忽略旋转的顺序，导致误差累积。BCH校正方法能够更准确地处理旋转的组合，从而提高模型的精度。

关键设计：针对双自由度关节，该方法使用迭代优化算法，目标是最小化MANO模型旋转和多刚体模型旋转之间的差异。在每次迭代中，使用BCH公式计算旋转的组合，并根据误差调整关节角度。BCH公式用于近似计算两个旋转矩阵的指数映射的乘积，从而更精确地处理旋转的非交换性。迭代过程持续进行，直到误差收敛或达到最大迭代次数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够以亚厘米级的精度重建手部动作。在数字孪生实验中，使用强化学习策略控制多刚体手部模型成功地重现了捕获的人类演示。定量评估显示，该方法在各种操作任务中均能成功执行抓取，验证了其在实际应用中的有效性。与直接使用MANO模型进行物理模拟相比，该方法显著提高了计算效率。

🎯 应用场景

该研究成果可广泛应用于数字孪生、人机交互、虚拟现实、机器人控制等领域。例如，在工业数字孪生中，可以用于模拟工人手部操作，进行人机协作的安全性评估和流程优化。在虚拟现实中，可以提供更逼真和自然的交互体验。在机器人控制中，可以用于训练机器人进行复杂的手部操作，如抓取、装配等。

📄 摘要（原文）

Human hand simulation plays a critical role in digital twin applications, requiring models that balance anatomical fidelity with computational efficiency. We present a complete pipeline for constructing multi-rigid-body approximations of human hands that preserve realistic appearance while enabling real-time physics simulation. Starting from optical motion capture of a specific human hand, we construct a personalized MANO (Multi-Abstracted hand model with Neural Operations) model and convert it to a URDF (Unified Robot Description Format) representation with anatomically consistent joint axes. The key technical challenge is projecting MANO's unconstrained SO(3) joint rotations onto the kinematically constrained joints of the rigid-body model. We derive closed-form solutions for single degree-of-freedom joints and introduce a Baker-Campbell-Hausdorff (BCH)-corrected iterative method for two degree-of-freedom joints that properly handles the non-commutativity of rotations. We validate our approach through digital twin experiments where reinforcement learning policies control the multi-rigid-body hand to replay captured human demonstrations. Quantitative evaluation shows sub-centimeter reconstruction error and successful grasp execution across diverse manipulation tasks.