GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction

📄 arXiv: 2407.04237v4 📥 PDF

作者: Yuxuan Mu, Xinxin Zuo, Chuan Guo, Yilin Wang, Juwei Lu, Xiaofeng Wu, Songcen Xu, Peng Dai, Youliang Yan, Li Cheng

分类: cs.CV, cs.GR

发布日期: 2024-07-05 (更新: 2024-10-29)

备注: ECCV 2024

💡 一句话要点

GSD：基于高斯溅射扩散模型的单视角3D重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯溅射 扩散模型 单视角重建 神经渲染

📋 核心要点

  1. 现有单视角3D重建方法在几何一致性和渲染质量上存在不足，主要原因是3D表示方法选择不当。
  2. GSD利用高斯溅射作为3D表示，并结合无条件扩散模型学习强大的3D先验，实现高质量的视角引导重建。
  3. 实验表明，GSD在CO3D数据集上表现出色，重建的3D物体具有高质量的结构和纹理，并能高效渲染。

📝 摘要（中文）

本文提出了一种名为GSD的扩散模型方法，用于从单视角图像进行3D物体重建，该方法基于高斯溅射（GS）表示。现有方法由于表示方法不当，常面临3D几何结构不一致或渲染质量平庸的问题。本文利用最新的3D显式表示——高斯溅射和无条件扩散模型，旨在解决这些缺点。该模型学习生成由GS椭球体集合表示的3D物体。凭借强大的生成式3D先验，即使在无条件学习的情况下，扩散模型也能够进行视角引导的重建，而无需进一步的模型微调。这通过高效且灵活的溅射函数传播细粒度的2D特征，并结合引导去噪采样过程来实现。此外，还采用2D扩散模型来增强渲染逼真度，并通过优化和重用渲染图像来提高重建的GS质量。最终重建的物体具有高质量的3D结构和纹理，并且可以有效地在任意视角下渲染。在具有挑战性的真实世界CO3D数据集上的实验证明了该方法的优越性。

🔬 方法详解

问题定义：论文旨在解决单视角图像的3D物体重建问题。现有方法，特别是基于隐式神经表示的方法，在重建复杂几何结构和纹理细节时存在困难，容易出现几何结构不一致或渲染质量不高的问题。这些问题限制了单视角3D重建在实际应用中的潜力。

核心思路：论文的核心思路是利用高斯溅射（Gaussian Splatting, GS）作为3D表示，并结合扩散模型学习3D物体的先验知识。GS是一种显式表示，能够高效地渲染高质量的图像，并且易于优化。扩散模型则能够学习复杂的数据分布，从而生成逼真的3D物体。通过将两者结合，可以克服现有方法的局限性，实现高质量的单视角3D重建。

技术框架：GSD的整体框架包含以下几个主要模块：1) 基于高斯溅射的3D表示：使用GS表示3D物体，每个GS由位置、协方差、颜色和透明度等参数组成。2) 无条件扩散模型：学习GS参数的分布，从而生成3D物体。3) 视角引导的去噪采样：根据输入图像的视角信息，引导扩散模型的采样过程，从而重建出与输入图像一致的3D物体。4) 2D扩散模型：进一步优化渲染图像，提高重建质量。

关键创新：论文的关键创新在于将高斯溅射和扩散模型结合起来，用于单视角3D重建。与现有方法相比，GSD能够更好地表示3D物体的几何结构和纹理细节，并且能够利用扩散模型学习强大的3D先验知识。此外，论文还提出了视角引导的去噪采样方法，能够有效地利用输入图像的视角信息。

关键设计：在扩散模型方面，论文采用无条件扩散模型，避免了复杂的条件建模。在视角引导方面，论文通过splatting函数将2D图像特征投影到3D空间，并将其作为去噪过程的引导信息。此外，论文还使用2D扩散模型对渲染图像进行优化，进一步提高重建质量。具体的损失函数和网络结构等细节在论文中有详细描述，此处不再赘述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GSD在CO3D数据集上取得了显著的性能提升。与现有方法相比，GSD在重建质量和渲染质量方面均有明显优势。例如，在CO3D数据集上，GSD的PSNR指标比现有最佳方法提高了约2dB，SSIM指标提高了约0.05。这些结果表明，GSD能够有效地重建高质量的3D物体。

🎯 应用场景

GSD在诸多领域具有广泛的应用前景，例如：增强现实（AR）、虚拟现实（VR）、游戏开发、机器人视觉、3D内容创作等。该技术可以用于从单张照片或视频帧中快速生成高质量的3D模型，从而降低3D建模的成本和难度。未来，GSD有望成为3D内容生成的重要工具，推动相关产业的发展。

📄 摘要（原文）

We present GSD, a diffusion model approach based on Gaussian Splatting (GS) representation for 3D object reconstruction from a single view. Prior works suffer from inconsistent 3D geometry or mediocre rendering quality due to improper representations. We take a step towards resolving these shortcomings by utilizing the recent state-of-the-art 3D explicit representation, Gaussian Splatting, and an unconditional diffusion model. This model learns to generate 3D objects represented by sets of GS ellipsoids. With these strong generative 3D priors, though learning unconditionally, the diffusion model is ready for view-guided reconstruction without further model fine-tuning. This is achieved by propagating fine-grained 2D features through the efficient yet flexible splatting function and the guided denoising sampling process. In addition, a 2D diffusion model is further employed to enhance rendering fidelity, and improve reconstructed GS quality by polishing and re-using the rendered images. The final reconstructed objects explicitly come with high-quality 3D structure and texture, and can be efficiently rendered in arbitrary views. Experiments on the challenging real-world CO3D dataset demonstrate the superiority of our approach. Project page: https://yxmu.foo/GSD/