OccluGaussian: Occlusion-Aware Gaussian Splatting for Large Scene Reconstruction and Rendering

📄 arXiv: 2503.16177v2 📥 PDF

作者: Shiyong Liu, Xiao Tang, Zhihao Li, Yingfan He, Chongjie Ye, Jianzhuang Liu, Binxiao Huang, Shunbo Zhou, Xiaofei Wu

分类: cs.GR, cs.CV

发布日期: 2025-03-20 (更新: 2025-11-29)

备注: Accepted to ICCV 2025. Project website: https://occlugaussian.github.io

💡 一句话要点

OccluGaussian：提出遮挡感知的高斯溅射方法，用于大规模场景重建与渲染。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 高斯溅射 遮挡感知 场景划分 大规模场景

📋 核心要点

  1. 现有大规模场景重建方法忽略了遮挡问题，导致区域内相机相关性弱，重建质量受限。
  2. 提出遮挡感知的场景划分策略，基于相机位置和共视性聚类，提升区域内相机相关性。
  3. 提出基于区域的渲染技术，剔除不可见高斯分布，加速渲染且不损失质量，实验效果显著。

📝 摘要（中文）

本文针对使用3D高斯溅射进行大规模场景重建时，通常将场景划分为多个较小区域并单独重建的问题，提出了一种遮挡感知的场景划分策略。该策略基于相机的位置和共视性对训练相机进行聚类，从而获得多个区域。这些区域内的相机具有更强的相关性和更高的平均贡献，有利于高质量的场景重建。此外，本文还提出了一种基于区域的渲染技术，通过剔除视点所在区域不可见的高斯分布，加速大规模场景的渲染，且不影响渲染质量。在多个大型场景上的大量实验表明，与现有的最先进方法相比，本文方法实现了卓越的重建效果和更快的渲染速度。

🔬 方法详解

问题定义：现有基于3D高斯溅射的大规模场景重建方法，通常将场景划分为多个小区域独立重建。然而，这些划分方法没有考虑遮挡情况，导致某些区域包含大量被遮挡的区域，使得该区域内的相机之间的相关性较弱，对整体重建的贡献较低，最终影响重建质量。

核心思路：本文的核心思路是提出一种遮挡感知的场景划分策略，该策略将训练相机根据其位置和共视性进行聚类，从而将场景划分为多个区域。这样划分的区域内的相机具有更强的相关性，能够更有效地进行重建。此外，还提出一种基于区域的渲染方法，加速渲染过程。

技术框架：该方法主要包含两个阶段：遮挡感知的场景划分和基于区域的渲染。首先，通过分析训练图像的相机位姿和图像内容，计算相机之间的共视性，并基于相机的位置和共视性进行聚类，将场景划分为多个区域。然后，在渲染阶段，根据视点所在的区域，剔除对该区域不可见的高斯分布，从而减少需要渲染的高斯数量，加速渲染过程。

关键创新：该方法最关键的创新在于提出了遮挡感知的场景划分策略。与现有的划分方法相比，该策略能够更好地考虑场景中的遮挡情况，将相机划分为更具相关性的区域，从而提高重建质量。此外，基于区域的渲染方法也能够有效地加速渲染过程。

关键设计：在场景划分阶段，使用基于密度的聚类算法（如DBSCAN）对相机进行聚类，聚类的依据是相机的位置和共视性。共视性可以通过分析相机拍摄的图像之间的特征匹配程度来估计。在渲染阶段，使用视锥体剔除技术，剔除视点所在区域不可见的高斯分布。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OccluGaussian在多个大型场景上实现了优于现有方法的重建效果和渲染速度。具体性能数据未知，但论文强调了在重建质量和渲染速度上均有显著提升，证明了遮挡感知场景划分策略和基于区域渲染技术的有效性。

🎯 应用场景

该研究成果可应用于大规模场景的三维重建与渲染，例如城市建模、自动驾驶、虚拟现实、增强现实等领域。通过提高重建质量和渲染效率，可以为用户提供更逼真、更流畅的视觉体验，并为相关应用提供更可靠的数据基础。

📄 摘要（原文）

In large-scale scene reconstruction using 3D Gaussian splatting, it is common to partition the scene into multiple smaller regions and reconstruct them individually. However, existing division methods are occlusion-agnostic, meaning that each region may contain areas with severe occlusions. As a result, the cameras within those regions are less correlated, leading to a low average contribution to the overall reconstruction. In this paper, we propose an occlusion-aware scene division strategy that clusters training cameras based on their positions and co-visibilities to acquire multiple regions. Cameras in such regions exhibit stronger correlations and a higher average contribution, facilitating high-quality scene reconstruction. We further propose a region-based rendering technique to accelerate large scene rendering, which culls Gaussians invisible to the region where the viewpoint is located. Such a technique significantly speeds up the rendering without compromising quality. Extensive experiments on multiple large scenes show that our method achieves superior reconstruction results with faster rendering speed compared to existing state-of-the-art approaches. Project page: https://occlugaussian.github.io.