LayerGS: Decomposition and Inpainting of Layered 3D Human Avatars via 2D Gaussian Splatting
作者: Yinghan Xu, John Dingliana
分类: cs.CV, cs.AI, cs.GR
发布日期: 2026-01-09
🔗 代码/项目: GITHUB
💡 一句话要点
提出LayerGS，通过2D高斯溅射分解和修复分层3D人体Avatar，实现高质量虚拟试穿。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D人体Avatar 高斯溅射 分层重建 虚拟试穿 扩散模型 遮挡修复 score-distillation sampling
📋 核心要点
- 现有单层人体重建方法难以处理服装与身份解耦问题，多层方法在遮挡区域表现不佳。
- LayerGS将每一层表示为2D高斯分布，利用预训练扩散模型修复遮挡，实现高质量分层重建。
- 实验表明，LayerGS在渲染质量、层分解和重组方面优于现有方法，可用于虚拟试穿等应用。
📝 摘要（中文）
本文提出了一种新颖的框架，用于将任意姿势的人体分解为可动画的多层3D人体Avatar，从而分离身体和服装。传统的单层重建方法将服装锁定到单一身份，而先前的多层方法则难以处理遮挡区域。我们通过将每一层编码为一组2D高斯分布来克服这两个限制，以实现精确的几何形状和逼真的渲染，并通过预训练的2D扩散模型经由score-distillation sampling (SDS) 来修复隐藏区域。我们的三阶段训练策略首先通过单层重建来重建粗略的规范服装，然后进行多层训练以联合恢复内层身体和外层服装的细节。在两个3D人体基准数据集（4D-Dress、Thuman2.0）上的实验表明，我们的方法比先前的最先进水平实现了更好的渲染质量以及层分解和重组，从而能够在新的视角和姿势下实现逼真的虚拟试穿，并推进了用于沉浸式应用的高保真3D人体资产的实际创建。我们的代码可在 https://github.com/RockyXu66/LayerGS 获得。
🔬 方法详解
问题定义：论文旨在解决3D人体Avatar重建中服装与身体分离的问题。现有方法要么将服装锁定到特定身份，导致服装无法灵活更换和动画化；要么在多层重建中难以处理遮挡区域，导致重建质量下降。这些问题限制了3D人体Avatar在虚拟试穿、游戏等领域的应用。
核心思路：论文的核心思路是将人体Avatar分解为多个层，包括身体层和服装层，并使用2D高斯溅射（Gaussian Splatting）来表示每一层。通过这种方式，可以实现对每一层的独立控制和编辑。同时，利用预训练的2D扩散模型，通过score-distillation sampling (SDS) 来修复遮挡区域，从而提高重建质量。
技术框架：LayerGS的整体框架包含三个阶段：1) 单层重建：首先使用单层重建方法重建粗略的规范服装模型。2) 多层训练：然后进行多层训练，联合优化身体层和服装层，并利用SDS修复遮挡区域。3) 层分解与重组：最后，将重建的Avatar分解为多个层，并可以对这些层进行重组，以实现虚拟试穿等应用。
关键创新：LayerGS的关键创新在于：1) 使用2D高斯溅射来表示每一层，从而实现高质量的渲染和几何重建。2) 利用预训练的2D扩散模型，通过SDS来修复遮挡区域，从而提高重建质量。3) 提出了一种三阶段训练策略，可以有效地训练多层Avatar模型。
关键设计：在训练过程中，使用了多种损失函数来约束模型的输出，包括渲染损失、几何损失和SDS损失。渲染损失用于保证渲染图像的质量，几何损失用于保证重建几何形状的准确性，SDS损失用于保证修复遮挡区域的合理性。此外，还使用了自适应学习率调整策略，以加速模型的收敛。
📊 实验亮点
LayerGS在4D-Dress和Thuman2.0数据集上取得了显著的性能提升，在渲染质量和层分解方面均优于现有方法。实验结果表明，LayerGS能够生成高质量的3D人体Avatar，并实现逼真的虚拟试穿效果。与现有方法相比，LayerGS在遮挡处理方面具有更强的鲁棒性，能够更好地处理复杂的服装和姿势。
🎯 应用场景
LayerGS技术可广泛应用于虚拟试穿、游戏角色定制、虚拟社交等领域。用户可以方便地更换服装、调整姿势，并生成高质量的3D人体Avatar。该技术有助于降低3D内容创作的门槛，促进沉浸式体验的发展，并为电商、娱乐等行业带来新的商业机会。
📄 摘要（原文）
We propose a novel framework for decomposing arbitrarily posed humans into animatable multi-layered 3D human avatars, separating the body and garments. Conventional single-layer reconstruction methods lock clothing to one identity, while prior multi-layer approaches struggle with occluded regions. We overcome both limitations by encoding each layer as a set of 2D Gaussians for accurate geometry and photorealistic rendering, and inpainting hidden regions with a pretrained 2D diffusion model via score-distillation sampling (SDS). Our three-stage training strategy first reconstructs the coarse canonical garment via single-layer reconstruction, followed by multi-layer training to jointly recover the inner-layer body and outer-layer garment details. Experiments on two 3D human benchmark datasets (4D-Dress, Thuman2.0) show that our approach achieves better rendering quality and layer decomposition and recomposition than the previous state-of-the-art, enabling realistic virtual try-on under novel viewpoints and poses, and advancing practical creation of high-fidelity 3D human assets for immersive applications. Our code is available at https://github.com/RockyXu66/LayerGS