AugGS: Self-augmented Gaussians with Structural Masks for Sparse-view 3D Reconstruction

📄 arXiv: 2408.04831v4 📥 PDF

作者: Bi'an Du, Lingbei Meng, Wei Hu

分类: cs.CV, cs.AI

发布日期: 2024-08-09 (更新: 2024-12-31)

💡 一句话要点

AugGS：利用结构化掩码的自增强高斯模型，解决稀疏视角下的3D重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 稀疏视角3D重建 高斯溅射 扩散模型 自增强学习 结构化掩码 神经渲染 三维重建

📋 核心要点

  1. 稀疏视角3D重建面临输入图像少、质量参差不齐以及模型参数量大的挑战，严重影响重建效果。
  2. 提出一种自增强高斯溅射框架，利用预训练的2D扩散模型生成增广数据，优化3D高斯模型，提升重建质量。
  3. 引入结构化掩码策略，增强模型对稀疏输入和噪声的鲁棒性，实验表明该方法在多个数据集上取得了SOTA性能。

📝 摘要（中文）

本文提出了一种基于自增强的两阶段高斯溅射框架，并结合结构化掩码，用于解决稀疏视角下的3D重建问题。该方法旨在克服输入图像数量少、信息不一致、依赖图像质量以及模型参数量大等挑战。首先，该方法从稀疏输入生成基本的3D高斯表示并渲染多视角图像。然后，微调一个预训练的2D扩散模型来增强这些图像，并将增强后的图像作为增广数据，进一步优化3D高斯模型。此外，训练期间的结构化掩码策略增强了模型对稀疏输入和噪声的鲁棒性。在MipNeRF360、OmniObject3D和OpenIllumination等基准数据集上的实验表明，该方法在稀疏输入下实现了最先进的感知质量和多视角一致性。

🔬 方法详解

问题定义：稀疏视角3D重建旨在从有限的视角图像中重建完整的三维模型。现有方法在稀疏视角下，由于输入信息不足和质量不一，重建效果往往不佳，且模型参数量大，难以优化。

核心思路：论文的核心思路是利用预训练的2D扩散模型生成高质量的增广图像，并将这些增广图像作为额外的训练数据，来优化3D高斯模型。通过这种自增强的方式，弥补稀疏视角带来的信息缺失，提升重建质量和鲁棒性。

技术框架：该方法采用两阶段框架。第一阶段，从稀疏输入图像初始化一个基本的3D高斯表示，并渲染出多视角图像。第二阶段，利用预训练的2D扩散模型对渲染出的图像进行增强，生成高质量的增广图像，然后使用这些增广图像作为额外的训练数据，进一步优化3D高斯模型。此外，在训练过程中引入结构化掩码策略，以增强模型对稀疏输入和噪声的鲁棒性。

关键创新：该方法最重要的创新点在于利用预训练的2D扩散模型进行自增强。与传统的数据增广方法相比，扩散模型能够生成更加真实和多样化的图像，从而更有效地提升3D重建的质量。此外，结构化掩码策略也是一个重要的创新，它能够帮助模型更好地处理稀疏输入和噪声。

关键设计：论文中，2D扩散模型采用预训练的 Stable Diffusion 模型，并对其进行微调，以适应特定的重建任务。结构化掩码策略的具体实现方式未知，但其目的是在训练过程中随机遮挡部分输入图像，从而迫使模型学习从更少的视角信息中进行重建。损失函数包括渲染损失和正则化损失，用于优化3D高斯模型的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在MipNeRF360、OmniObject3D和OpenIllumination等基准数据集上取得了state-of-the-art的性能。与现有方法相比，该方法在感知质量和多视角一致性方面均有显著提升。具体性能数据未知，但摘要强调了其在稀疏输入下的优越性。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。在这些场景中，往往难以获取密集的视角图像，而该方法能够在稀疏视角下实现高质量的3D重建，具有重要的实际应用价值。未来，该方法有望进一步推广到动态场景的重建，以及与其他模态数据的融合。

📄 摘要（原文）

Sparse-view 3D reconstruction is a major challenge in computer vision, aiming to create complete three-dimensional models from limited viewing angles. Key obstacles include: 1) a small number of input images with inconsistent information; 2) dependence on input image quality; and 3) large model parameter sizes. To tackle these issues, we propose a self-augmented two-stage Gaussian splatting framework enhanced with structural masks for sparse-view 3D reconstruction. Initially, our method generates a basic 3D Gaussian representation from sparse inputs and renders multi-view images. We then fine-tune a pre-trained 2D diffusion model to enhance these images, using them as augmented data to further optimize the 3D Gaussians. Additionally, a structural masking strategy during training enhances the model's robustness to sparse inputs and noise. Experiments on benchmarks like MipNeRF360, OmniObject3D, and OpenIllumination demonstrate that our approach achieves state-of-the-art performance in perceptual quality and multi-view consistency with sparse inputs.