SolidGS: Consolidating Gaussian Surfel Splatting for Sparse-View Surface Reconstruction

📄 arXiv: 2412.15400v1 📥 PDF

作者: Zhuowen Shen, Yuan Liu, Zhang Chen, Zhong Li, Jiepeng Wang, Yongqing Liang, Zhengming Yu, Jingdong Zhang, Yi Xu, Scott Schaefer, Xin Li, Wenping Wang

分类: cs.CV

发布日期: 2024-12-19

备注: Project page: https://mickshen7558.github.io/projects/SolidGS/

💡 一句话要点

SolidGS：通过巩固高斯Surfel Splatting实现稀疏视角下的表面重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯Splatting 表面重建 稀疏视角 几何一致性 神经渲染

📋 核心要点

  1. 现有高斯splatting方法在稀疏视角下表面重建质量不佳，多视角几何一致性差。
  2. SolidGS通过引入更坚实的核函数来巩固高斯函数，提升几何一致性和重建质量。
  3. 结合几何正则化和单目法线估计，SolidGS在多个数据集上超越现有方法。

📝 摘要（中文）

高斯splatting在多视角图像的新视角合成和表面重建方面取得了显著进展。然而，当前方法仍然难以仅从稀疏视角输入图像中重建高质量的表面。本文提出了一种名为SolidGS的新方法来解决这个问题。我们观察到，由于高斯函数在几何渲染中的特性，重建的几何体在多个视角下可能严重不一致。这促使我们通过采用更坚实的核函数来巩固所有高斯函数，从而有效地提高表面重建质量。借助几何正则化和单目法线估计，我们的方法在广泛使用的DTU、Tanks-and-Temples和LLFF数据集上，实现了优于所有高斯splatting方法和神经场方法的稀疏视角表面重建性能。

🔬 方法详解

问题定义：论文旨在解决从稀疏视角图像中进行高质量表面重建的问题。现有基于高斯splatting的方法在稀疏视角下重建的几何体在不同视角之间存在严重的不一致性，导致重建质量下降。这是由于高斯函数本身的特性造成的，使得在稀疏视角下难以准确估计几何形状。

核心思路：论文的核心思路是通过采用一个更“坚实”的核函数来替代传统的高斯函数，从而巩固高斯splatting。这种“坚实”的核函数能够减少由于视角变化引起的不确定性，从而提高多视角几何一致性，并最终提升表面重建质量。

技术框架：SolidGS的整体框架包括以下几个主要阶段：1) 初始化高斯splatting；2) 使用更坚实的核函数进行渲染；3) 引入几何正则化项，约束重建的几何形状；4) 利用单目法线估计提供额外的几何信息；5) 优化高斯参数，包括位置、旋转、缩放和颜色等。这些阶段相互配合，共同提升表面重建的质量和鲁棒性。

关键创新：该方法最重要的创新点在于使用了一种新的、更“坚实”的核函数来替代传统的高斯函数。这种核函数的设计旨在减少视角变化对几何重建的影响，从而提高多视角几何一致性。此外，结合几何正则化和单目法线估计进一步增强了重建的准确性。

关键设计：论文中关键的设计包括：1) 具体使用的“坚实”核函数的数学形式，以及如何选择合适的参数；2) 几何正则化项的具体形式，例如表面平滑度约束或体积约束；3) 单目法线估计器的选择和训练，以及如何将估计的法线信息融入到优化过程中；4) 损失函数的设计，包括渲染损失、几何正则化损失和法线一致性损失等，以及它们之间的权重平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SolidGS在DTU、Tanks-and-Temples和LLFF等数据集上进行了评估，实验结果表明，该方法在稀疏视角表面重建任务中显著优于现有的高斯splatting方法和神经场方法。具体的性能提升数据（例如PSNR、SSIM等指标）在论文中进行了详细的展示和对比。

🎯 应用场景

SolidGS在三维重建、虚拟现实、增强现实、机器人导航等领域具有广泛的应用前景。高质量的表面重建对于创建逼真的虚拟环境、进行精确的物理模拟以及实现智能机器人的环境感知至关重要。该方法尤其适用于资源受限或难以获取密集视角图像的场景。

📄 摘要（原文）

Gaussian splatting has achieved impressive improvements for both novel-view synthesis and surface reconstruction from multi-view images. However, current methods still struggle to reconstruct high-quality surfaces from only sparse view input images using Gaussian splatting. In this paper, we propose a novel method called SolidGS to address this problem. We observed that the reconstructed geometry can be severely inconsistent across multi-views, due to the property of Gaussian function in geometry rendering. This motivates us to consolidate all Gaussians by adopting a more solid kernel function, which effectively improves the surface reconstruction quality. With the additional help of geometrical regularization and monocular normal estimation, our method achieves superior performance on the sparse view surface reconstruction than all the Gaussian splatting methods and neural field methods on the widely used DTU, Tanks-and-Temples, and LLFF datasets.