StructLDM: Structured Latent Diffusion for 3D Human Generation

📄 arXiv: 2404.01241v3 📥 PDF

作者: Tao Hu, Fangzhou Hong, Ziwei Liu

分类: cs.CV

发布日期: 2024-04-01 (更新: 2024-07-02)

备注: Accepted to ECCV 2024. Project page: https://taohuumd.github.io/projects/StructLDM/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出StructLDM以解决3D人类生成中的结构化表示问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D人类生成 结构化潜在空间 扩散模型 自解码器 可控生成 虚拟试衣 NeRF 计算机视觉

📋 核心要点

  1. 现有3D人类生成方法在紧凑的1D潜在空间中建模，忽视了人体的关节结构和语义信息，导致生成效果受限。
  2. 本文提出StructLDM，通过引入语义结构潜在空间和结构化3D感知自解码器，提升了3D人类建模的表现力和灵活性。
  3. 实验结果表明，StructLDM在生成性能上超越了现有方法，支持多种可控的3D人类生成和编辑任务。

📝 摘要（中文）

近年来，3D人类生成模型通过从2D图像学习3D感知GAN取得了显著进展。然而，现有方法在紧凑的1D潜在空间中建模人类，忽视了人体拓扑的关节结构和语义。本文提出StructLDM，一种基于扩散的无条件3D人类生成模型，旨在探索更具表现力和高维的潜在空间。StructLDM通过三个关键设计解决了高维潜在空间带来的挑战：1）在统计人类身体模板的密集表面流形上定义的语义结构潜在空间；2）将全局潜在空间分解为多个由条件结构局部NeRF参数化的语义身体部位的结构化3D感知自解码器；3）用于生成性人类外观采样的结构化潜在扩散模型。大量实验验证了StructLDM的最先进生成性能，并展示了结构化潜在空间相较于传统1D潜在空间的表现力。

🔬 方法详解

问题定义：现有3D人类生成模型主要依赖于紧凑的1D潜在空间，无法有效捕捉人体的关节结构和语义信息，导致生成效果不佳。

核心思路：本文提出StructLDM，探索更高维的潜在空间，利用语义结构潜在空间和结构化自解码器来增强3D人类建模的表现力和灵活性。

技术框架：StructLDM的整体架构包括三个主要模块：1）语义结构潜在空间；2）结构化3D感知自解码器；3）结构化潜在扩散模型。这些模块协同工作，实现从2D图像到3D人类的生成。

关键创新：StructLDM的最大创新在于引入了语义结构潜在空间和结构化3D感知自解码器，使得生成的3D人类在不同姿势和服装风格下保持一致性，与传统1D潜在空间方法有本质区别。

关键设计：在设计中，采用了条件结构局部NeRF来参数化语义身体部位，并通过损失函数优化生成效果，确保生成的人类模型在多种视角下表现一致。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，StructLDM在3D人类生成任务中表现出色，相较于传统方法，生成质量提升显著，支持多种可控生成任务，如姿势、视角和形状控制，且在合成生成和部件感知服装编辑方面表现优异。

🎯 应用场景

StructLDM在多个领域具有潜在应用价值，包括虚拟试衣、游戏角色生成、动画制作等。其灵活的3D人类生成和编辑能力可以大幅提升相关行业的创作效率和用户体验，未来可能推动更广泛的虚拟现实和增强现实应用的发展。

📄 摘要（原文）

Recent 3D human generative models have achieved remarkable progress by learning 3D-aware GANs from 2D images. However, existing 3D human generative methods model humans in a compact 1D latent space, ignoring the articulated structure and semantics of human body topology. In this paper, we explore more expressive and higher-dimensional latent space for 3D human modeling and propose StructLDM, a diffusion-based unconditional 3D human generative model, which is learned from 2D images. StructLDM solves the challenges imposed due to the high-dimensional growth of latent space with three key designs: 1) A semantic structured latent space defined on the dense surface manifold of a statistical human body template. 2) A structured 3D-aware auto-decoder that factorizes the global latent space into several semantic body parts parameterized by a set of conditional structured local NeRFs anchored to the body template, which embeds the properties learned from the 2D training data and can be decoded to render view-consistent humans under different poses and clothing styles. 3) A structured latent diffusion model for generative human appearance sampling. Extensive experiments validate StructLDM's state-of-the-art generation performance and illustrate the expressiveness of the structured latent space over the well-adopted 1D latent space. Notably, StructLDM enables different levels of controllable 3D human generation and editing, including pose/view/shape control, and high-level tasks including compositional generations, part-aware clothing editing, 3D virtual try-on, etc. Our project page is at: https://taohuumd.github.io/projects/StructLDM/.