From Skin to Skeleton: Towards Biomechanically Accurate 3D Digital Humans

📄 arXiv: 2509.06607v1 📥 PDF

作者: Marilyn Keller, Keenon Werling, Soyong Shin, Scott Delp, Sergi Pujades, C. Karen Liu, Michael J. Black

分类: cs.GR, cs.CV

发布日期: 2025-09-08

期刊: ACM Trans. Graph. 42, 6, Article 253 (December 2023), 12 pages

DOI: 10.1145/3618381

💡 一句话要点

提出SKEL模型，通过生物力学骨骼重构SMPL，实现更精确的三维人体建模。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 三维人体建模 生物力学 参数化模型 SMPL模型 骨骼重构

📋 核心要点

  1. 现有3D人体模型（如SMPL）的运动学结构过于简化，无法准确反映人体骨骼的关节位置和活动，限制了其在生物力学领域的应用。
  2. 论文提出SKEL模型，通过将SMPL模型与生物力学精确的骨骼结构相结合，构建一个既能动画化又符合生物力学原理的参数化人体模型。
  3. 实验表明，SKEL模型具有更精确的关节位置，骨骼与身体表面的贴合度更高，并能将现有人体姿势数据集升级为包含生物力学参数的数据集。

📝 摘要（中文）

通过训练神经网络直接回归参数化人体模型（如SMPL）的参数，在从图像和视频中估计3D人体姿势和形状方面取得了很大进展。然而，现有的身体模型具有简化的运动学结构，与人体骨骼系统中真实的关节位置和关节活动不符，限制了它们在生物力学中的潜在用途。另一方面，用于估计生物力学精确骨骼运动的方法通常依赖于复杂的运动捕捉系统和昂贵的优化方法。因此，需要一个具有生物力学精确骨骼结构的参数化3D人体模型，并且可以轻松地进行姿势调整。为此，我们开发了SKEL，它使用生物力学骨骼重新构建了SMPL身体模型。为了实现这一点，我们需要在各种姿势下SMPL网格内部的骨骼训练数据。我们通过优化AMASS序列中SMPL网格内部的生物力学精确骨骼来构建这样的数据集。然后，我们学习一个从SMPL网格顶点到优化后的关节位置和骨骼旋转的回归器。最后，我们使用新的运动学参数重新参数化SMPL网格。由此产生的SKEL模型像SMPL一样可以动画化，但自由度更少，并且更符合生物力学。我们表明，SKEL比SMPL具有更生物力学精确的关节位置，并且骨骼比以前的方法更好地贴合在身体表面内部。通过将SKEL拟合到SMPL网格，我们能够“升级”现有人体姿势和形状数据集，以包括生物力学参数。SKEL提供了一种新工具，可以在实际场景中实现生物力学，同时也为视觉和图形研究人员提供了一个更好约束和更逼真的人体关节模型。该模型、代码和数据可在https://skel.is.tue.mpg.de.上用于研究。

🔬 方法详解

问题定义：现有参数化人体模型（如SMPL）的运动学结构与真实人体骨骼存在差异，导致其在生物力学仿真等领域的应用受限。同时，传统的生物力学运动捕捉系统成本高昂且复杂，难以在实际场景中应用。因此，需要一种既能参数化表示人体，又能准确反映人体骨骼运动学特性的模型。

核心思路：论文的核心思路是将SMPL模型与生物力学精确的骨骼结构相结合，构建一个名为SKEL的新模型。通过优化SMPL网格内部的骨骼，并学习从SMPL顶点到骨骼关节位置和旋转的回归器，实现SMPL模型的“骨骼升级”。这样既保留了SMPL模型的参数化特性，又使其具有了更符合生物力学的运动学结构。

技术框架：SKEL模型的构建主要包含以下几个阶段： 1. 数据准备：利用AMASS数据集，通过优化算法将生物力学精确的骨骼嵌入到SMPL网格中，生成训练数据。 2. 回归器训练：训练一个回归器，用于预测给定SMPL网格顶点对应的骨骼关节位置和旋转。 3. 模型重参数化：使用新的骨骼运动学参数重新参数化SMPL模型，得到SKEL模型。

关键创新：该论文的关键创新在于将参数化人体模型与生物力学骨骼结构相结合，提出了一种新的3D人体建模方法。与现有方法相比，SKEL模型具有更精确的关节位置和更符合生物力学的运动学特性，使其更适用于生物力学仿真等领域。

关键设计： 1. 骨骼优化：使用优化算法将生物力学精确的骨骼嵌入到SMPL网格中，确保骨骼与身体表面贴合。 2. 回归器结构：回归器的具体网络结构未知，但其目标是学习SMPL顶点到骨骼关节位置和旋转的映射关系。 3. 损失函数：损失函数的设计目标是最小化预测的关节位置和旋转与真实值之间的差异，并可能包含一些正则化项以防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明，SKEL模型比SMPL模型具有更生物力学精确的关节位置，并且骨骼与身体表面的贴合度更高。此外，通过将SKEL拟合到SMPL网格，可以将现有人体姿势和形状数据集升级为包含生物力学参数的数据集，为相关研究提供更丰富的数据支持。具体的性能数据和提升幅度在摘要中未提及，属于未知信息。

🎯 应用场景

SKEL模型在生物力学研究、运动分析、虚拟现实、游戏开发等领域具有广泛的应用前景。它可以用于更精确地模拟人体运动，分析运动损伤机制，设计更符合人体工程学的设备，以及创建更逼真的虚拟角色。通过升级现有人体姿势数据集，SKEL模型还可以促进相关领域的研究进展。

📄 摘要（原文）

Great progress has been made in estimating 3D human pose and shape from images and video by training neural networks to directly regress the parameters of parametric human models like SMPL. However, existing body models have simplified kinematic structures that do not correspond to the true joint locations and articulations in the human skeletal system, limiting their potential use in biomechanics. On the other hand, methods for estimating biomechanically accurate skeletal motion typically rely on complex motion capture systems and expensive optimization methods. What is needed is a parametric 3D human model with a biomechanically accurate skeletal structure that can be easily posed. To that end, we develop SKEL, which re-rigs the SMPL body model with a biomechanics skeleton. To enable this, we need training data of skeletons inside SMPL meshes in diverse poses. We build such a dataset by optimizing biomechanically accurate skeletons inside SMPL meshes from AMASS sequences. We then learn a regressor from SMPL mesh vertices to the optimized joint locations and bone rotations. Finally, we re-parametrize the SMPL mesh with the new kinematic parameters. The resulting SKEL model is animatable like SMPL but with fewer, and biomechanically-realistic, degrees of freedom. We show that SKEL has more biomechanically accurate joint locations than SMPL, and the bones fit inside the body surface better than previous methods. By fitting SKEL to SMPL meshes we are able to "upgrade" existing human pose and shape datasets to include biomechanical parameters. SKEL provides a new tool to enable biomechanics in the wild, while also providing vision and graphics researchers with a better constrained and more realistic model of human articulation. The model, code, and data are available for research at https://skel.is.tue.mpg.de..