PBDyG: Position Based Dynamic Gaussians for Motion-Aware Clothed Human Avatars

📄 arXiv: 2412.04433v2 📥 PDF

作者: Shota Sasaki, Jane Wu, Ko Nishino

分类: cs.CV

发布日期: 2024-12-05 (更新: 2024-12-06)

💡 一句话要点

提出PBDyG，通过基于位置的动态高斯模型实现运动感知的服装人像重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 服装人像重建 动态高斯模型 基于位置的动力学 物理模拟 运动感知 SMPL模型 3D高斯溅射

📋 核心要点

  1. 现有服装人像重建方法难以处理高度可变形服装，如裙子和外套，无法准确捕捉服装的动态变化。
  2. PBDyG通过将服装建模为3D高斯分布，并将其附着于SMPL身体，利用基于物理的模拟实现运动依赖的服装变形。
  3. 该方法通过动态3D高斯溅射从RGB视频中估计物理属性，实验证明能准确重建外观和高度可变形服装。

📝 摘要（中文）

本文提出了一种新的服装人像模型，该模型可以从多视角RGB视频中学习，特别强调恢复物理上精确的身体和服装运动。我们的方法，基于位置的动态高斯模型（PBDyG），通过物理模拟实现“运动依赖”的服装变形，而不是仅仅依赖于“姿势依赖”的刚性变换。我们以整体的方式对服装人像进行建模，但在接触中具有两个不同的物理实体：服装被建模为3D高斯分布，这些高斯分布附着在蒙皮的SMPL身体上，该身体跟随输入视频中人物的运动。SMPL身体的关节运动也驱动服装高斯分布的基于物理的模拟，以将头像转换为新的姿势。为了运行基于位置的动力学模拟，包括质量和材料刚度在内的物理属性通过动态3D高斯溅射从RGB视频中估计。实验表明，我们的方法不仅能准确地再现外观，而且能够重建穿着高度可变形服装（如裙子或外套）的头像，而使用现有方法重建这些头像一直具有挑战性。

🔬 方法详解

问题定义：现有服装人像重建方法主要依赖于姿势依赖的刚性变换，难以捕捉服装的动态变形，尤其是在处理高度可变形的服装时，重建效果不佳。这些方法无法准确模拟服装与身体之间的交互以及服装自身的物理特性，导致重建结果缺乏真实感。

核心思路：PBDyG的核心思路是将服装建模为3D高斯分布，并将其与SMPL身体绑定。通过基于位置的动力学（Position Based Dynamics, PBD）模拟，实现服装的运动依赖变形。这种方法能够更好地模拟服装的物理特性和与身体的交互，从而更准确地重建服装的动态变化。

技术框架：PBDyG的整体框架包括以下几个主要模块：1) 从多视角RGB视频中提取SMPL身体的运动信息；2) 将服装建模为3D高斯分布，并将其附着于SMPL身体；3) 通过动态3D高斯溅射估计服装的物理属性，如质量和材料刚度；4) 使用基于位置的动力学模拟服装的运动和变形；5) 渲染最终的服装人像。

关键创新：PBDyG的关键创新在于将3D高斯分布和基于位置的动力学相结合，实现了运动依赖的服装变形。与传统的姿势依赖方法相比，PBDyG能够更好地模拟服装的物理特性和与身体的交互，从而更准确地重建服装的动态变化。此外，通过动态3D高斯溅射估计物理属性，使得模型能够从RGB视频中学习服装的物理特性。

关键设计：在PBDyG中，关键的设计包括：1) 使用3D高斯分布表示服装，能够有效地捕捉服装的细节和形状；2) 使用基于位置的动力学模拟服装的运动和变形，能够保证模拟的稳定性和效率；3) 通过动态3D高斯溅射估计服装的物理属性，能够使得模型能够从RGB视频中学习服装的物理特性；4) 使用SMPL身体作为服装的驱动，能够保证服装与身体的自然交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PBDyG能够准确地重建穿着高度可变形服装（如裙子或外套）的头像，并且在外观和动态表现方面优于现有方法。该方法能够捕捉服装的细节和动态变化，重建结果更加逼真和自然。具体的性能数据和对比基线在论文中进行了详细的展示。

🎯 应用场景

PBDyG具有广泛的应用前景，包括虚拟现实、增强现实、游戏开发、电影制作等领域。它可以用于创建更加逼真和自然的虚拟人物，提高用户在虚拟环境中的沉浸感。此外，PBDyG还可以用于服装设计和模拟，帮助设计师更好地了解服装的穿着效果和动态表现。

📄 摘要（原文）

This paper introduces a novel clothed human model that can be learned from multiview RGB videos, with a particular emphasis on recovering physically accurate body and cloth movements. Our method, Position Based Dynamic Gaussians (PBDyG), realizes movement-dependent'' cloth deformation via physical simulation, rather than merely relying onpose-dependent'' rigid transformations. We model the clothed human holistically but with two distinct physical entities in contact: clothing modeled as 3D Gaussians, which are attached to a skinned SMPL body that follows the movement of the person in the input videos. The articulation of the SMPL body also drives physically-based simulation of the clothes' Gaussians to transform the avatar to novel poses. In order to run position based dynamics simulation, physical properties including mass and material stiffness are estimated from the RGB videos through Dynamic 3D Gaussian Splatting. Experiments demonstrate that our method not only accurately reproduces appearance but also enables the reconstruction of avatars wearing highly deformable garments, such as skirts or coats, which have been challenging to reconstruct using existing methods.