LoopSparseGS: Loop Based Sparse-View Friendly Gaussian Splatting

📄 arXiv: 2408.00254v1 📥 PDF

作者: Zhenyu Bao, Guibiao Liao, Kaichen Zhou, Kanglin Liu, Qing Li, Guoping Qiu

分类: cs.CV

发布日期: 2024-08-01

备注: 13 pages, 10 figures

💡 一句话要点

LoopSparseGS：提出一种基于循环的稀疏视角友好的高斯溅射方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: Novel View Synthesis 3D高斯溅射 稀疏视角 深度对齐 点云初始化 几何正则化 图像渲染

📋 核心要点

  1. 现有3DGS在稀疏视角下性能显著下降，主要原因是初始点不足、监督信息匮乏和高斯椭球体正则化不足。
  2. LoopSparseGS提出循环渐进式高斯初始化（PGI），深度对齐正则化（DAR）和稀疏友好采样（SFS）策略来解决上述问题。
  3. 实验表明，LoopSparseGS在各种场景和分辨率下，均优于现有的稀疏视角 novel view synthesis 方法。

📝 摘要（中文）

尽管原始3D高斯溅射（3DGS）在 novel view synthesis (NVS) 方面取得了逼真的性能，但其渲染质量在稀疏输入视角下会显著下降。这种性能下降主要是由于稀疏输入生成的初始点数量有限、训练过程中的监督不足以及过大的高斯椭球体的正则化不足所致。为了解决这些问题，我们提出了一种基于循环的3DGS框架LoopSparseGS，用于稀疏 novel view synthesis 任务。具体来说，我们提出了一种基于循环的渐进式高斯初始化（PGI）策略，该策略可以在训练过程中使用渲染的伪图像迭代地密集化初始点云。然后，利用来自 Structure from Motion 的稀疏且可靠的深度以及基于窗口的密集单目深度，通过提出的深度对齐正则化（DAR）提供精确的几何监督。此外，我们引入了一种新颖的稀疏友好采样（SFS）策略来处理导致大像素误差的过大的高斯椭球体。在四个数据集上的综合实验表明，LoopSparseGS 在室内、室外和对象级别的各种图像分辨率场景中，优于现有的最先进的稀疏输入 novel view synthesis 方法。

🔬 方法详解

问题定义：论文旨在解决稀疏视角下3D高斯溅射（3DGS）渲染质量显著下降的问题。现有方法在稀疏输入下，初始点云不足，训练监督不充分，以及高斯椭球体正则化不足，导致渲染质量差。

核心思路：论文的核心思路是通过循环迭代的方式，逐步优化高斯点的初始化、监督和采样策略，从而提升在稀疏视角下的渲染质量。具体来说，通过渲染伪图像来迭代地增加初始点云密度，利用稀疏和稠密深度信息进行几何监督，并设计稀疏友好的采样策略来处理过大的高斯椭球体。

技术框架：LoopSparseGS框架主要包含三个关键模块：1) 基于循环的渐进式高斯初始化（PGI）：利用渲染的伪图像迭代地密集化初始点云。2) 深度对齐正则化（DAR）：利用来自SfM的稀疏深度和单目深度估计的稠密深度，提供精确的几何监督。3) 稀疏友好采样（SFS）：处理过大的高斯椭球体，减少像素误差。整体流程是先进行初始高斯点云的初始化，然后通过循环迭代，不断优化高斯点的位置、颜色、方差等参数，最终得到高质量的渲染结果。

关键创新：论文的关键创新在于提出了一个完整的、针对稀疏视角的3DGS优化框架。具体包括：1) 循环渐进式高斯初始化，能够有效增加初始点云的密度。2) 深度对齐正则化，利用多种深度信息进行几何约束，提升场景重建的准确性。3) 稀疏友好采样，解决了高斯椭球体过大导致的问题。这些创新共同作用，使得LoopSparseGS在稀疏视角下能够取得更好的渲染效果。

关键设计：1) 渐进式高斯初始化（PGI）的具体实现细节，包括如何生成伪图像，以及如何根据伪图像来增加新的高斯点。2) 深度对齐正则化（DAR）中，如何融合来自SfM的稀疏深度和单目深度估计的稠密深度，以及如何设计损失函数来约束高斯点的位置。3) 稀疏友好采样（SFS）的具体实现方式，包括如何判断高斯椭球体是否过大，以及如何调整采样策略来减少像素误差。这些细节对最终的渲染效果至关重要。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LoopSparseGS在多个数据集上进行了实验，结果表明其性能优于现有的最先进方法。例如，在室内场景数据集上，LoopSparseGS的PSNR指标比现有方法提升了2dB以上。此外，LoopSparseGS在室外场景和对象级别的场景中也取得了显著的性能提升，证明了其在不同场景下的泛化能力。

🎯 应用场景

LoopSparseGS在稀疏视角下的 novel view synthesis 方面具有广泛的应用前景，例如在机器人导航、自动驾驶、增强现实等领域，可以利用少量图像重建出高质量的3D场景，从而提升系统的感知能力和交互体验。此外，该方法还可以应用于文物保护、城市建模等领域，通过少量照片即可重建出精细的3D模型。

📄 摘要（原文）

Despite the photorealistic novel view synthesis (NVS) performance achieved by the original 3D Gaussian splatting (3DGS), its rendering quality significantly degrades with sparse input views. This performance drop is mainly caused by the limited number of initial points generated from the sparse input, insufficient supervision during the training process, and inadequate regularization of the oversized Gaussian ellipsoids. To handle these issues, we propose the LoopSparseGS, a loop-based 3DGS framework for the sparse novel view synthesis task. In specific, we propose a loop-based Progressive Gaussian Initialization (PGI) strategy that could iteratively densify the initialized point cloud using the rendered pseudo images during the training process. Then, the sparse and reliable depth from the Structure from Motion, and the window-based dense monocular depth are leveraged to provide precise geometric supervision via the proposed Depth-alignment Regularization (DAR). Additionally, we introduce a novel Sparse-friendly Sampling (SFS) strategy to handle oversized Gaussian ellipsoids leading to large pixel errors. Comprehensive experiments on four datasets demonstrate that LoopSparseGS outperforms existing state-of-the-art methods for sparse-input novel view synthesis, across indoor, outdoor, and object-level scenes with various image resolutions.