ToMiE: Towards Explicit Exoskeleton for the Reconstruction of Complicated 3D Human Avatars

📄 arXiv: 2410.08082v2 📥 PDF

作者: Yifan Zhan, Qingtian Zhu, Muyao Niu, Mingze Ma, Jiancheng Zhao, Zhihang Zhong, Xiao Sun, Yu Qiao, Yinqiang Zheng

分类: cs.CV

发布日期: 2024-10-10 (更新: 2025-06-26)

💡 一句话要点

ToMiE：提出显式外骨骼方法，用于重建复杂3D人体Avatar

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 3D人体重建 SMPL模型 外骨骼 骨骼增长 手持物体 宽松服装 动画 参数化人体模型

📋 核心要点

  1. 现有方法难以对带有手持物体或宽松服装的复杂3D人体进行建模，因为这些物体的运动与人体解耦。
  2. ToMiE提出了一种骨骼增长策略，通过父关节定位和外部关节优化，自适应地扩展SMPL骨架的关节树。
  3. 实验表明，ToMiE在渲染质量和动画表达能力方面优于其他方法，尤其是在处理手持物体和宽松服装时。

📝 摘要（中文）

本文着重强调了在大多数3D人体任务中一个关键但经常被忽视的因素，即对带有手持物体或宽松服装的复杂3D人体进行建模。众所周知，参数化的SMPL模型能够拟合人体皮肤，但手持物体和宽松服装难以在统一框架内建模，因为它们的运动通常与人体解耦。为了增强SMPL骨架在这种场景下的能力，我们提出了一种增长策略，使骨架的关节树能够自适应地扩展。具体来说，我们的方法称为ToMiE，包括父关节定位和外部关节优化。对于父关节定位，我们采用基于梯度的策略，并以LBS混合权重和运动核为指导。一旦获得外部关节，我们就继续优化它们在不同帧之间的SE(3)变换，从而实现渲染和显式动画。ToMiE在各种手持物体和宽松服装的案例中，不仅在渲染质量方面优于其他方法，而且还提供了生长关节的自由动画，从而增强了SMPL骨架在更广泛应用中的表达能力。

🔬 方法详解

问题定义：现有基于SMPL模型的3D人体重建方法，在处理手持物体或宽松服装时表现不佳。这些物体或服装的运动与人体本身的运动存在解耦，导致SMPL模型难以准确捕捉其形变和姿态。因此，如何对这些复杂场景下的3D人体进行精确建模是一个挑战。

核心思路：ToMiE的核心思路是通过扩展SMPL模型的骨骼结构，使其能够显式地建模手持物体或宽松服装的运动。具体来说，该方法在SMPL骨骼的基础上“生长”出额外的关节，这些关节能够更好地捕捉外部物体或服装的运动，从而提高重建的准确性和真实感。

技术框架：ToMiE主要包含两个阶段：父关节定位和外部关节优化。首先，通过基于梯度的策略，利用LBS混合权重和运动核来确定新关节的父关节。然后，对这些新关节在不同帧之间的SE(3)变换进行优化，从而实现渲染和动画。整个框架旨在将外部物体或服装的运动信息融入到SMPL模型中。

关键创新：ToMiE的关键创新在于提出了一种自适应的骨骼增长策略，能够根据场景的复杂程度动态地扩展SMPL模型的骨骼结构。这种方法避免了手动设计骨骼结构的繁琐过程，并能够更好地适应各种不同的手持物体和宽松服装。

关键设计：在父关节定位阶段，ToMiE使用基于梯度的优化方法，目标是找到一个合适的父关节，使得新关节的运动能够尽可能地反映其周围区域的运动。LBS混合权重和运动核被用作梯度计算的指导信息。在外部关节优化阶段，ToMiE使用SE(3)变换来表示新关节的姿态，并通过优化这些变换来最小化重建误差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ToMiE在多个数据集上进行了评估，实验结果表明，该方法在渲染质量和动画表达能力方面均优于其他方法。尤其是在处理手持物体和宽松服装时，ToMiE能够显著提高重建的准确性和真实感。此外，ToMiE还能够生成自然流畅的动画效果，为虚拟角色的表现力带来了显著提升。

🎯 应用场景

ToMiE具有广泛的应用前景，包括虚拟现实、增强现实、游戏、动画制作和人机交互等领域。该方法能够提高虚拟角色的真实感和表现力，使其能够更好地与用户进行互动。此外，ToMiE还可以用于服装设计和虚拟试穿等应用，帮助用户更好地了解服装的穿着效果。

📄 摘要（原文）

In this paper, we highlight a critical yet often overlooked factor in most 3D human tasks, namely modeling complicated 3D human with with hand-held objects or loose-fitting clothing. It is known that the parameterized formulation of SMPL is able to fit human skin; while hand-held objects and loose-fitting clothing, are difficult to get modeled within the unified framework, since their movements are usually decoupled with the human body. To enhance the capability of SMPL skeleton in response to this situation, we propose a growth strategy that enables the joint tree of the skeleton to expand adaptively. Specifically, our method, called ToMiE, consists of parent joints localization and external joints optimization. For parent joints localization, we employ a gradient-based approach guided by both LBS blending weights and motion kernels. Once the external joints are obtained, we proceed to optimize their transformations in SE(3) across different frames, enabling rendering and explicit animation. ToMiE manages to outperform other methods across various cases with hand-held objects and loose-fitting clothing, not only in rendering quality but also by offering free animation of grown joints, thereby enhancing the expressive ability of SMPL skeleton for a broader range of applications.