LAGA: Layered 3D Avatar Generation and Customization via Gaussian Splatting

📄 arXiv: 2405.12663v2 📥 PDF

作者: Jia Gong, Shenyu Ji, Lin Geng Foo, Kang Chen, Hossein Rahmani, Jun Liu

分类: cs.GR, cs.CV

发布日期: 2024-05-21 (更新: 2025-03-17)

💡 一句话要点

LAGA：基于高斯溅射的分层3D可定制化身生成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D化身生成 高斯溅射 服装解耦 可定制化 分层表示

📋 核心要点

  1. 现有方法将人体和服装视为不可分割的整体，限制了用户自由搭配服装的能力，这是3D化身定制的关键挑战。
  2. LAGA框架将服装与化身解耦，采用分层高斯点表示，每层对应不同服装或人体，实现服装级别的编辑和定制。
  3. 通过粗到精的服装生成策略、双SDS损失和正则化损失，LAGA在3D服装人体生成方面超越了现有技术水平。

📝 摘要（中文）

本文提出了一种名为分层高斯化身（LAGA）的框架，用于从文本描述中创建和定制3D服装化身。该框架将人体和服装解耦，使用户能够自由地混合和匹配服装。LAGA通过分层结构组织的高斯点来建模化身，每一层对应于特定的服装或人体本身。为了生成高质量的服装，引入了一种由粗到精的策略，以及一种新颖的双SDS损失函数，以保持生成的服装与化身组件（包括人体和其他服装）之间的一致性。此外，还引入了三个正则化损失来指导高斯点的运动，从而实现服装的自由迁移。实验结果表明，该方法在3D服装人体生成方面优于现有方法。

🔬 方法详解

问题定义：现有方法在生成3D服装化身时，通常将人体和服装视为一个整体，用户无法自由地更换和搭配服装，缺乏灵活性和可定制性。因此，需要一种能够将服装与人体解耦，并允许用户在服装级别进行编辑和定制的方法。

核心思路：LAGA的核心思路是将3D化身表示为分层的高斯点集合，每一层对应于特定的服装或人体本身。通过这种分层表示，可以将服装与人体解耦，从而实现服装的独立编辑和定制。此外，利用高斯溅射技术，可以高效地渲染高质量的3D化身。

技术框架：LAGA框架主要包含以下几个模块：1) 分层高斯表示：使用分层结构组织的高斯点来表示3D化身，每一层对应于不同的服装或人体。2) 服装生成：采用由粗到精的策略生成高质量的服装。3) 损失函数：设计双SDS损失函数，以保持生成的服装与化身组件之间的一致性。4) 服装迁移：引入正则化损失，指导高斯点的运动，实现服装的自由迁移。

关键创新：LAGA的关键创新在于：1) 分层高斯表示：将3D化身表示为分层的高斯点集合，实现服装与人体的解耦。2) 双SDS损失：设计了一种新颖的双SDS损失函数，以保持生成的服装与化身组件之间的一致性。3) 服装迁移：引入正则化损失，指导高斯点的运动，实现服装的自由迁移。与现有方法相比，LAGA能够生成更高质量、更可定制的3D服装化身。

关键设计：在服装生成阶段，采用由粗到精的策略，首先生成粗略的服装形状，然后逐步细化细节。双SDS损失函数包含两个部分：一个用于保持生成的服装与人体之间的一致性，另一个用于保持生成的服装与其他服装之间的一致性。正则化损失包括三个部分：一个用于保持高斯点的形状，一个用于保持高斯点的密度，另一个用于保持高斯点的颜色。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量实验验证了LAGA的有效性。实验结果表明，LAGA在3D服装人体生成方面优于现有方法。具体而言，LAGA能够生成更高质量、更逼真的3D服装化身，并且能够实现服装的自由编辑和定制。与基线方法相比，LAGA在生成质量和用户可控性方面均有显著提升。

🎯 应用场景

LAGA在虚拟现实、增强现实、游戏、电商等领域具有广泛的应用前景。用户可以利用该技术创建个性化的3D化身，并在虚拟世界中进行互动和交流。此外，该技术还可以用于服装设计和定制，帮助设计师快速生成不同款式的服装，并为用户提供个性化的服装定制服务。未来，LAGA有望成为3D化身生成和定制的重要工具。

📄 摘要（原文）

Creating and customizing a 3D clothed avatar from textual descriptions is a critical and challenging task. Traditional methods often treat the human body and clothing as inseparable, limiting users' ability to freely mix and match garments. In response to this limitation, we present LAyered Gaussian Avatar (LAGA), a carefully designed framework enabling the creation of high-fidelity decomposable avatars with diverse garments. By decoupling garments from avatar, our framework empowers users to conviniently edit avatars at the garment level. Our approach begins by modeling the avatar using a set of Gaussian points organized in a layered structure, where each layer corresponds to a specific garment or the human body itself. To generate high-quality garments for each layer, we introduce a coarse-to-fine strategy for diverse garment generation and a novel dual-SDS loss function to maintain coherence between the generated garments and avatar components, including the human body and other garments. Moreover, we introduce three regularization losses to guide the movement of Gaussians for garment transfer, allowing garments to be freely transferred to various avatars. Extensive experimentation demonstrates that our approach surpasses existing methods in the generation of 3D clothed humans.