CoR-GS: Sparse-View 3D Gaussian Splatting via Co-Regularization

📄 arXiv: 2405.12110v2 📥 PDF

作者: Jiawei Zhang, Jiahe Li, Xiaohan Yu, Lei Huang, Lin Gu, Jin Zheng, Xiao Bai

分类: cs.CV

发布日期: 2024-05-20 (更新: 2024-07-11)

备注: Accepted at ECCV 2024. Project page: https://jiaw-z.github.io/CoR-GS/

💡 一句话要点

CoR-GS：通过协同正则化提升稀疏视角下的3D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 稀疏视角 新视角合成 协同正则化 辐射场 无监督学习 几何重建

📋 核心要点

  1. 稀疏视角下3D高斯溅射易过拟合，导致渲染质量下降，现有方法缺乏有效的正则化手段。
  2. CoR-GS通过训练两个辐射场，利用点不一致性和渲染不一致性来指导正则化，无需ground-truth。
  3. 实验表明，CoR-GS在多个数据集上实现了最先进的稀疏视角新视角合成质量，并重建了更紧凑的场景表示。

📝 摘要（中文）

3D高斯溅射(3DGS)通过构建由3D高斯分布组成的辐射场来表示场景。在稀疏视角训练下，3DGS容易过拟合，从而对渲染产生负面影响。本文提出了一种新的协同正则化视角来改进稀疏视角下的3DGS。通过训练两个3D高斯辐射场，我们观察到由于密度化实现的随机性，这两个辐射场表现出点不一致性和渲染不一致性，这些不一致性可以无监督地预测重建质量。我们进一步量化了这两种不一致性，并证明了它们与准确重建之间的负相关关系，这使我们能够在不访问ground-truth信息的情况下识别不准确的重建。基于此，我们提出了CoR-GS，它基于这两种不一致性来识别和抑制不准确的重建：（1）协同剪枝考虑在高点不一致性位置表现出高点不一致性的高斯分布，并对其进行剪枝。（2）伪视角协同正则化考虑表现出高渲染不一致性的像素是不准确的，并抑制这种不一致性。在LLFF、Mip-NeRF360、DTU和Blender上的结果表明，CoR-GS有效地正则化了场景几何结构，重建了紧凑的表示，并在稀疏训练视角下实现了最先进的新视角合成质量。

🔬 方法详解

问题定义：论文旨在解决稀疏视角下3D高斯溅射（3DGS）容易过拟合的问题。现有方法在稀疏视角下训练时，由于缺乏足够的约束，容易产生不准确的几何结构和伪影，导致新视角合成质量下降。

核心思路：论文的核心思路是利用协同正则化来约束3DGS的训练过程。具体来说，同时训练两个独立的3DGS辐射场，并利用它们之间的不一致性（点不一致性和渲染不一致性）作为重建质量的无监督指标。通过抑制这些不一致性，可以有效地正则化场景几何结构，从而提高新视角合成的质量。这种方法无需ground-truth信息，适用于无监督学习场景。

技术框架：CoR-GS的整体框架包括以下几个主要步骤：1) 初始化两个独立的3DGS辐射场。2) 使用稀疏视角图像对两个辐射场进行训练。3) 计算两个辐射场之间的点不一致性和渲染不一致性。4) 基于不一致性进行协同剪枝，去除不准确的高斯分布。5) 使用伪视角协同正则化，抑制渲染不一致性。6) 重复步骤2-5，直到训练收敛。

关键创新：论文的关键创新在于提出了利用两个辐射场之间的不一致性作为重建质量的无监督指标。这种方法能够有效地识别不准确的几何结构和伪影，并指导正则化过程。此外，论文还提出了协同剪枝和伪视角协同正则化两种具体的正则化方法，进一步提高了新视角合成的质量。与现有方法相比，CoR-GS无需ground-truth信息，适用于更广泛的应用场景。

关键设计：在协同剪枝中，论文使用点不一致性作为高斯分布重要性的指标，并设置阈值来决定是否剪枝。在伪视角协同正则化中，论文使用渲染不一致性来计算损失函数，并将其添加到总损失函数中。损失函数的权重是一个重要的参数，需要根据具体数据集进行调整。此外，论文还使用了标准的3DGS训练技巧，例如自适应密度控制和梯度下降优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoR-GS在LLFF、Mip-NeRF360、DTU和Blender数据集上进行了评估，结果表明CoR-GS在稀疏视角下实现了最先进的新视角合成质量。例如，在LLFF数据集上，CoR-GS相比于基线方法取得了显著的PSNR和SSIM提升。此外，CoR-GS还能够重建更紧凑的场景表示，减少了存储空间和计算成本。

🎯 应用场景

CoR-GS可应用于各种需要从稀疏视角重建三维场景的应用中，例如机器人导航、增强现实、虚拟现实、自动驾驶等。该方法能够提高重建的准确性和鲁棒性，从而改善用户体验和系统性能。未来，该方法可以进一步扩展到动态场景重建和大规模场景重建。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) creates a radiance field consisting of 3D Gaussians to represent a scene. With sparse training views, 3DGS easily suffers from overfitting, negatively impacting rendering. This paper introduces a new co-regularization perspective for improving sparse-view 3DGS. When training two 3D Gaussian radiance fields, we observe that the two radiance fields exhibit point disagreement and rendering disagreement that can unsupervisedly predict reconstruction quality, stemming from the randomness of densification implementation. We further quantify the two disagreements and demonstrate the negative correlation between them and accurate reconstruction, which allows us to identify inaccurate reconstruction without accessing ground-truth information. Based on the study, we propose CoR-GS, which identifies and suppresses inaccurate reconstruction based on the two disagreements: (1) Co-pruning considers Gaussians that exhibit high point disagreement in inaccurate positions and prunes them. (2) Pseudo-view co-regularization considers pixels that exhibit high rendering disagreement are inaccurate and suppress the disagreement. Results on LLFF, Mip-NeRF360, DTU, and Blender demonstrate that CoR-GS effectively regularizes the scene geometry, reconstructs the compact representations, and achieves state-of-the-art novel view synthesis quality under sparse training views.