Gaussian Set Surface Reconstruction through Per-Gaussian Optimization

📄 arXiv: 2507.18923v1 📥 PDF

作者: Zhentao Huang, Di Wu, Zhenbang He, Minglun Gong

分类: cs.CV

发布日期: 2025-07-25

💡 一句话要点

提出GSSR，通过高斯优化实现高精度高斯集表面重建，提升场景编辑能力。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 高斯集表面 场景重建 几何优化 法线一致性

📋 核心要点

  1. 现有3DGS方法在场景几何重建方面存在不足，高斯分布不均匀，偏离潜在表面，影响重建精度和编辑。
  2. GSSR通过优化高斯分布，使其均匀分布在潜在表面上，并对齐高斯法线与表面法线，实现更精确的几何重建。
  3. 实验结果表明，GSSR显著提高了高斯位置的几何精度，同时保持了高质量的渲染性能，并支持直观的场景编辑。

📝 摘要（中文）

3D高斯溅射(3DGS)通过其灵活的表示有效地合成新的视角，但未能准确地重建场景几何。虽然像PGSR这样的现代变体引入了额外的损失，以确保通过高斯融合获得适当的深度和法线贴图，但它们仍然忽略了个体位置优化。这导致高斯分布不均匀，偏离潜在表面，从而使重建细化和场景编辑变得复杂。受点集表面开创性工作的启发，我们提出了高斯集表面重建(GSSR)，这是一种旨在将高斯均匀地分布在潜在表面上，同时将其主法线与表面法线对齐的方法。GSSR通过像素级和高斯级单视图法线一致性和多视图光度一致性的组合来强制执行细粒度的几何对齐，从而优化局部和全局视角。为了进一步细化表示，我们引入了不透明度正则化损失来消除冗余高斯，并应用周期性的深度和法线引导的高斯重新初始化，以获得更清晰、更均匀的空间分布。我们的重建结果表明，高斯位置的几何精度显著提高，从而能够进行直观的场景编辑和高效的基于高斯的新型3D环境生成。大量的实验验证了GSSR的有效性，表明在保持高质量渲染性能的同时，几何精度得到了提高。

🔬 方法详解

问题定义：现有基于3D高斯溅射的场景重建方法，虽然在novel view synthesis方面表现出色，但在几何重建精度上存在不足。主要痛点在于高斯分布不均匀，偏离真实表面，导致后续的场景编辑和优化变得困难。现有方法虽然尝试引入深度和法线约束，但忽略了对单个高斯位置的优化，无法从根本上解决问题。

核心思路：GSSR的核心思路是借鉴点集表面(Point Set Surfaces)的思想，将高斯看作是构成表面的基本元素，通过优化每个高斯的位置和法线，使其更好地拟合潜在的表面。具体来说，就是让高斯均匀分布在表面上，并且高斯的主法线与表面法线对齐。这样可以提高重建的几何精度，为后续的场景编辑提供更好的基础。

技术框架：GSSR的整体框架包括以下几个主要阶段：1) 初始化高斯分布；2) 通过像素级和高斯级的单视图法线一致性以及多视图光度一致性损失函数进行优化；3) 应用不透明度正则化损失来消除冗余高斯；4) 周期性地进行深度和法线引导的高斯重新初始化，以获得更均匀的空间分布。整个过程是一个迭代优化过程，不断调整高斯的位置、形状和颜色等参数。

关键创新：GSSR最重要的创新点在于引入了高斯集表面(Gaussian Set Surface)的概念，并将点集表面的思想应用到3D高斯溅射中。与现有方法不同，GSSR更加关注单个高斯的几何属性，通过优化高斯的位置和法线，实现更精确的几何重建。此外，GSSR还提出了像素级和高斯级的法线一致性损失，以及深度和法线引导的高斯重新初始化策略，进一步提高了重建的质量。

关键设计：GSSR的关键设计包括：1) 像素级法线一致性损失，用于约束渲染图像的法线与真实法线的一致性；2) 高斯级法线一致性损失，用于约束每个高斯的主法线与表面法线的一致性；3) 多视图光度一致性损失，用于约束不同视角下渲染图像的一致性；4) 不透明度正则化损失，用于消除冗余高斯；5) 深度和法线引导的高斯重新初始化，用于保证高斯分布的均匀性。这些损失函数和策略共同作用，实现了高精度的几何重建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GSSR在几何精度方面显著优于现有方法。通过定量评估，GSSR在重建的表面法线精度和深度精度方面都取得了明显的提升。此外，GSSR还能够生成更清晰、更易于编辑的3D场景，为后续的场景编辑和优化提供了更好的基础。实验还验证了GSSR在保持高质量渲染性能的同时，提高了几何精度。

🎯 应用场景

GSSR在三维场景重建、虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于创建更逼真、更易于编辑的3D环境，例如用于虚拟现实游戏的场景建模、增强现实应用的物体识别与跟踪、以及机器人导航与定位等。GSSR的未来发展方向包括：进一步提高重建精度和效率，支持动态场景的重建，以及与其他3D视觉技术的融合。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) effectively synthesizes novel views through its flexible representation, yet fails to accurately reconstruct scene geometry. While modern variants like PGSR introduce additional losses to ensure proper depth and normal maps through Gaussian fusion, they still neglect individual placement optimization. This results in unevenly distributed Gaussians that deviate from the latent surface, complicating both reconstruction refinement and scene editing. Motivated by pioneering work on Point Set Surfaces, we propose Gaussian Set Surface Reconstruction (GSSR), a method designed to distribute Gaussians evenly along the latent surface while aligning their dominant normals with the surface normal. GSSR enforces fine-grained geometric alignment through a combination of pixel-level and Gaussian-level single-view normal consistency and multi-view photometric consistency, optimizing both local and global perspectives. To further refine the representation, we introduce an opacity regularization loss to eliminate redundant Gaussians and apply periodic depth- and normal-guided Gaussian reinitialization for a cleaner, more uniform spatial distribution. Our reconstruction results demonstrate significantly improved geometric precision in Gaussian placement, enabling intuitive scene editing and efficient generation of novel Gaussian-based 3D environments. Extensive experiments validate GSSR's effectiveness, showing enhanced geometric accuracy while preserving high-quality rendering performance.