AdaHuman: Animatable Detailed 3D Human Generation with Compositional Multiview Diffusion

📄 arXiv: 2505.24877v1 📥 PDF

作者: Yangyi Huang, Ye Yuan, Xueting Li, Jan Kautz, Umar Iqbal

分类: cs.CV

发布日期: 2025-05-30

备注: Website: https://nvlabs.github.io/AdaHuman

💡 一句话要点

AdaHuman：基于可组合多视角扩散的动画3D人体高精度生成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D人体生成 扩散模型 多视角学习 3D高斯溅射 姿态估计 可动画化身

📋 核心要点

  1. 现有方法难以从单张图像生成高细节、可动画的3D人体化身，限制了其在真实世界中的应用。
  2. AdaHuman提出了一种姿态条件3D扩散模型和可组合3DGS细化模块，以生成高质量、可动画的3D人体模型。
  3. 实验表明，AdaHuman在化身重建和姿态调整方面显著优于现有方法，并在公共基准测试中取得了领先成果。

📝 摘要（中文）

现有的图像到3D化身生成方法难以生成适用于真实世界应用的高细节、可动画化身。我们提出了AdaHuman，一种从单张野外图像生成高保真可动画3D化身的全新框架。AdaHuman包含两个关键创新：(1) 一个姿态条件3D联合扩散模型，用于在任意姿势下合成一致的多视角图像，并在每个扩散步骤中进行相应的3D高斯溅射(3DGS)重建；(2) 一个可组合的3DGS细化模块，通过图像到图像的细化增强局部身体部位的细节，并使用一种新颖的、感知裁剪的相机光线图无缝集成它们，从而生成一个有凝聚力的高细节3D化身。这些组件使AdaHuman能够生成具有最小自遮挡的高度逼真的标准化A-pose化身，从而可以使用任何输入运动进行绑定和动画制作。在公共基准和野外图像上的大量评估表明，AdaHuman在化身重建和重新姿势方面显著优于最先进的方法。代码和模型将公开发布以供研究。

🔬 方法详解

问题定义：现有方法在从单张图像生成高质量、可动画的3D人体化身方面存在困难。它们通常难以捕捉到精细的几何细节，并且生成的模型在进行姿态调整时容易出现伪影和不一致性。这限制了这些方法在需要逼真且可控的3D人体模型的应用场景中的使用。

核心思路：AdaHuman的核心思路是利用扩散模型生成多视角一致的图像，并结合3D高斯溅射（3DGS）进行重建，从而获得高质量的3D人体模型。通过姿态条件扩散模型，可以生成不同姿势下的图像，从而实现可动画性。此外，采用可组合的3DGS细化模块，可以增强局部细节，并保证整体模型的一致性。

技术框架：AdaHuman的整体框架包含两个主要模块：姿态条件3D联合扩散模型和可组合3DGS细化模块。首先，姿态条件3D联合扩散模型根据输入的图像和目标姿势，生成多视角图像和对应的3DGS表示。然后，可组合3DGS细化模块对3DGS表示进行局部细节增强，并通过裁剪感知相机光线图将各个部分无缝集成，最终生成高细节的3D人体化身。

关键创新：AdaHuman的关键创新在于以下两点：一是提出了姿态条件3D联合扩散模型，能够生成多视角一致且具有目标姿势的图像，为后续的3D重建提供了高质量的输入。二是提出了可组合的3DGS细化模块，能够针对局部区域进行细节增强，并保证整体模型的一致性，从而生成高保真度的3D人体化身。与现有方法相比，AdaHuman能够更好地捕捉细节，并且生成的模型具有更好的可动画性。

关键设计：在姿态条件3D联合扩散模型中，使用了Transformer架构来建模姿态信息和图像之间的关系。在可组合3DGS细化模块中，使用了图像到图像的细化网络来增强局部细节，并设计了一种裁剪感知相机光线图，以保证各个部分之间的无缝集成。损失函数包括图像重建损失、3DGS重建损失和姿态损失等，用于约束模型的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AdaHuman在公共基准测试中显著优于现有方法，在化身重建和姿态调整方面取得了领先成果。例如，在定量指标上，AdaHuman相比于最先进的方法，在重建精度上提升了XX%，在姿态调整的自然度上提升了YY%。此外，在视觉效果上，AdaHuman生成的模型具有更高的细节和更少的伪影。

🎯 应用场景

AdaHuman生成的逼真且可动画的3D人体模型具有广泛的应用前景，包括虚拟现实、增强现实、游戏、电影制作、电子商务等领域。例如，可以用于创建个性化的虚拟化身，用于在线社交互动和虚拟会议；也可以用于游戏和电影制作中，生成逼真的人物角色；还可以用于服装设计和试穿等应用。

📄 摘要（原文）

Existing methods for image-to-3D avatar generation struggle to produce highly detailed, animation-ready avatars suitable for real-world applications. We introduce AdaHuman, a novel framework that generates high-fidelity animatable 3D avatars from a single in-the-wild image. AdaHuman incorporates two key innovations: (1) A pose-conditioned 3D joint diffusion model that synthesizes consistent multi-view images in arbitrary poses alongside corresponding 3D Gaussian Splats (3DGS) reconstruction at each diffusion step; (2) A compositional 3DGS refinement module that enhances the details of local body parts through image-to-image refinement and seamlessly integrates them using a novel crop-aware camera ray map, producing a cohesive detailed 3D avatar. These components allow AdaHuman to generate highly realistic standardized A-pose avatars with minimal self-occlusion, enabling rigging and animation with any input motion. Extensive evaluation on public benchmarks and in-the-wild images demonstrates that AdaHuman significantly outperforms state-of-the-art methods in both avatar reconstruction and reposing. Code and models will be publicly available for research purposes.