Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single Camera

📄 arXiv: 2312.16842v1 📥 PDF

作者: Hansol Lee, Junuk Cha, Yunhoe Ku, Jae Shin Yoon, Seungryul Baek

分类: cs.CV

发布日期: 2023-12-28

💡 一句话要点

提出基于单目视频的动态服装3D人体建模方法，解决运动模糊问题。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 服装建模 3D人体 动态建模 单目视频 显式建模 隐式建模 运动捕捉

📋 核心要点

  1. 现有单目人体建模方法忽略了运动上下文对服装外观的影响，导致难以处理大幅动态的视频。
  2. 论文提出一种组合式人体建模框架，结合显式和隐式建模，利用运动信息提升建模质量。
  3. 实验结果表明，该方法能够生成具有物理合理性的次要运动，提升了服装3D人体建模的真实感。

📝 摘要（中文）

本文提出了一种利用单目视频进行高质量服装3D人体建模的方法，尤其关注动态运动的影响。现有方法通常忽略了服装外观不仅受姿势影响，还受时间上下文（即运动）影响。由于运动模糊性，神经网络难以学习具有大幅动态的视频，即对于相同的姿势，服装存在许多依赖于运动上下文的几何结构。本文通过引入一种新颖的组合式人体建模框架来解决这一挑战，该框架同时利用了显式和隐式人体建模。显式建模部分，神经网络学习生成3D身体模型的逐点形状残差和外观特征，通过比较其2D渲染结果和原始图像。这种显式模型允许通过编码其时间对应关系，从UV空间重建判别性的3D运动特征。隐式建模部分，隐式网络结合外观和3D运动特征，解码具有运动相关几何体和纹理的高保真服装3D人体模型。实验表明，该方法能够以物理上合理的方式生成大量次要运动。

🔬 方法详解

问题定义：现有基于单目视频的服装3D人体建模方法，在处理动态运动时存在困难。由于运动模糊性，即相同姿势下服装存在多种依赖于运动上下文的几何结构，神经网络难以学习。这导致重建的3D人体模型在运动过程中出现不自然的形变或伪影。

核心思路：论文的核心思路是将显式建模和隐式建模相结合，利用显式建模提取运动特征，并将其融入到隐式建模中，从而使隐式网络能够学习到运动相关的几何体和纹理。显式建模负责从图像中提取3D身体模型的形状残差和外观特征，并编码运动的时间对应关系。隐式建模则利用这些特征重建高保真度的服装3D人体模型。

技术框架：整体框架包含两个主要模块：显式建模模块和隐式建模模块。显式建模模块首先利用神经网络预测3D身体模型的形状残差和外观特征。然后，通过比较2D渲染结果和原始图像，优化这些预测结果。同时，该模块还负责编码运动的时间对应关系，提取3D运动特征。隐式建模模块则利用一个隐式网络，将外观特征和3D运动特征结合起来，解码出最终的服装3D人体模型。

关键创新：论文的关键创新在于将显式建模和隐式建模相结合，并利用显式建模提取的运动特征来指导隐式建模。这种方法能够有效地解决运动模糊问题，并生成具有物理合理性的次要运动。与现有方法相比，该方法能够更好地捕捉服装的动态形变，从而提升了建模的真实感。

关键设计：在显式建模中，使用了UV空间来编码运动的时间对应关系。在隐式建模中，使用了MLP网络作为隐式函数，将外观特征和3D运动特征映射到3D空间中的点密度和颜色。损失函数包括图像重建损失、形状损失和正则化损失。具体的网络结构和参数设置在论文中有详细描述。

📊 实验亮点

实验结果表明，该方法在服装3D人体建模的质量和真实感方面优于现有方法。通过对比实验，证明了该方法能够生成更自然的服装动态效果，尤其是在处理大幅运动时。具体性能指标和对比基线在论文中有详细展示，表明该方法在视觉效果和物理合理性方面均有显著提升。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏、电影制作等领域。例如，可以用于创建逼真的虚拟化身，用于在线社交、虚拟试衣等应用。此外，该技术还可以用于分析服装的运动特性，为服装设计提供参考。

📄 摘要（原文）

The appearance of a human in clothing is driven not only by the pose but also by its temporal context, i.e., motion. However, such context has been largely neglected by existing monocular human modeling methods whose neural networks often struggle to learn a video of a person with large dynamics due to the motion ambiguity, i.e., there exist numerous geometric configurations of clothes that are dependent on the context of motion even for the same pose. In this paper, we introduce a method for high-quality modeling of clothed 3D human avatars using a video of a person with dynamic movements. The main challenge comes from the lack of 3D ground truth data of geometry and its temporal correspondences. We address this challenge by introducing a novel compositional human modeling framework that takes advantage of both explicit and implicit human modeling. For explicit modeling, a neural network learns to generate point-wise shape residuals and appearance features of a 3D body model by comparing its 2D rendering results and the original images. This explicit model allows for the reconstruction of discriminative 3D motion features from UV space by encoding their temporal correspondences. For implicit modeling, an implicit network combines the appearance and 3D motion features to decode high-fidelity clothed 3D human avatars with motion-dependent geometry and texture. The experiments show that our method can generate a large variation of secondary motion in a physically plausible way.