GS-VTON: Controllable 3D Virtual Try-on with Gaussian Splatting

📄 arXiv: 2410.05259v1 📥 PDF

作者: Yukang Cao, Masoud Hadi, Liang Pan, Ziwei Liu

分类: cs.CV

发布日期: 2024-10-07

备注: 21 pages, 11 figures

💡 一句话要点

GS-VTON：利用高斯溅射实现可控的3D虚拟试穿

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D虚拟试穿 高斯溅射 扩散模型 LoRA微调 图像编辑

📋 核心要点

  1. 现有3D虚拟试穿方法依赖文本提示，细节不足，且多视角2D结果缺乏一致性，导致外观失真。
  2. GS-VTON利用3D高斯溅射作为3D表示，结合图像提示和LoRA微调的个性化扩散模型，提升跨视角一致性。
  3. 论文构建了3D-VTONBench基准，实验表明GS-VTON在保真度和编辑能力上优于现有方法。

📝 摘要（中文）

基于扩散模型的2D虚拟试穿(VTON)技术最近表现出强大的性能，而3D VTON的发展在很大程度上滞后。尽管文本引导的3D场景编辑取得了进展，但将2D VTON集成到这些流程中以实现生动的3D VTON仍然具有挑战性。原因有两方面：首先，文本提示无法提供足够的服装细节。其次，从同一3D场景的不同视点生成的2D VTON结果缺乏连贯性和空间关系，因此经常导致外观不一致和几何失真。为了解决这些问题，我们引入了一种图像提示的3D VTON方法(称为GS-VTON)，该方法利用3D高斯溅射(3DGS)作为3D表示，能够将预训练的2D VTON模型的知识转移到3D，同时提高跨视图一致性。(1) 具体来说，我们提出了一种个性化的扩散模型，该模型利用低秩适应(LoRA)微调将个性化信息融入到预训练的2D VTON模型中。为了实现有效的LoRA训练，我们引入了一种参考驱动的图像编辑方法，该方法能够同时编辑多视图图像，同时确保一致性。(2) 此外，我们提出了一个人像感知的3DGS编辑框架，以促进有效的编辑，同时保持一致的跨视图外观和高质量的3D几何。(3) 此外，我们建立了一个新的3D VTON基准，3D-VTONBench，它有助于全面的定性和定量3D VTON评估。通过大量的实验和与现有方法的比较分析，所提出的方法证明了卓越的保真度和先进的编辑能力，肯定了其在3D VTON中的有效性。

🔬 方法详解

问题定义：现有3D虚拟试穿方法主要依赖文本提示来控制服装的生成，但文本描述难以捕捉服装的精细细节。此外，直接将2D虚拟试穿结果投影到3D空间时，由于不同视角图像缺乏一致性，容易产生外观不协调和几何扭曲的问题。

核心思路：GS-VTON的核心在于利用3D高斯溅射（3DGS）作为3D场景的表示，并结合图像提示来引导虚拟试穿过程。通过将预训练的2D VTON模型的知识迁移到3DGS表示上，可以有效地利用2D VTON的强大生成能力，同时利用3DGS的特性来保证跨视角的一致性。

技术框架：GS-VTON主要包含以下几个模块：1) 个性化扩散模型：利用LoRA微调预训练的2D VTON模型，使其能够根据输入的图像提示生成个性化的服装图像。2) 参考驱动的图像编辑：通过同时编辑多视角图像，并引入一致性约束，保证不同视角下服装外观的一致性。3) 人像感知的3DGS编辑框架：利用人像信息来指导3DGS的编辑过程，从而实现对服装的精确控制，并保持高质量的3D几何结构。

关键创新：GS-VTON的关键创新在于将2D VTON的强大生成能力与3DGS的跨视角一致性相结合。通过LoRA微调和参考驱动的图像编辑，有效地解决了现有方法中存在的细节不足和一致性问题。此外，论文还提出了一个人像感知的3DGS编辑框架，进一步提高了编辑的精度和质量。

关键设计：在LoRA微调过程中，论文设计了一个参考驱动的图像编辑方法，该方法通过引入一致性损失函数来约束不同视角下服装外观的一致性。在3DGS编辑框架中，论文利用人像分割结果来指导3DGS的编辑过程，从而实现对服装的精确控制。此外，论文还设计了一个新的3D VTON基准，3D-VTONBench，用于评估不同方法的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GS-VTON在3D虚拟试穿任务中取得了显著的性能提升。与现有方法相比，GS-VTON能够生成更高质量、更逼真的服装图像，并且在跨视角一致性方面表现更佳。在3D-VTONBench基准测试中，GS-VTON在多个指标上均优于其他方法，证明了其有效性和优越性。

🎯 应用场景

GS-VTON技术可应用于电商平台的虚拟试衣、游戏角色的服装定制、以及电影制作中的服装设计等领域。该技术能够提升用户体验，降低服装购买的决策成本，并为创意设计提供更高效的工具。未来，该技术有望进一步扩展到更广泛的虚拟现实和增强现实应用中。

📄 摘要（原文）

Diffusion-based 2D virtual try-on (VTON) techniques have recently demonstrated strong performance, while the development of 3D VTON has largely lagged behind. Despite recent advances in text-guided 3D scene editing, integrating 2D VTON into these pipelines to achieve vivid 3D VTON remains challenging. The reasons are twofold. First, text prompts cannot provide sufficient details in describing clothing. Second, 2D VTON results generated from different viewpoints of the same 3D scene lack coherence and spatial relationships, hence frequently leading to appearance inconsistencies and geometric distortions. To resolve these problems, we introduce an image-prompted 3D VTON method (dubbed GS-VTON) which, by leveraging 3D Gaussian Splatting (3DGS) as the 3D representation, enables the transfer of pre-trained knowledge from 2D VTON models to 3D while improving cross-view consistency. (1) Specifically, we propose a personalized diffusion model that utilizes low-rank adaptation (LoRA) fine-tuning to incorporate personalized information into pre-trained 2D VTON models. To achieve effective LoRA training, we introduce a reference-driven image editing approach that enables the simultaneous editing of multi-view images while ensuring consistency. (2) Furthermore, we propose a persona-aware 3DGS editing framework to facilitate effective editing while maintaining consistent cross-view appearance and high-quality 3D geometry. (3) Additionally, we have established a new 3D VTON benchmark, 3D-VTONBench, which facilitates comprehensive qualitative and quantitative 3D VTON evaluations. Through extensive experiments and comparative analyses with existing methods, the proposed \OM has demonstrated superior fidelity and advanced editing capabilities, affirming its effectiveness for 3D VTON.