Proxy-GS: Unified Occlusion Priors for Training and Inference in Structured 3D Gaussian Splatting
作者: Yuanyuan Gao, Yuning Gong, Yifei Liu, Li Jingfeng, Dingwen Zhang, Yanci Zhang, Dan Xu, Xiao Sun, Zhihang Zhong
分类: cs.CV
发布日期: 2026-02-28
💡 一句话要点
Proxy-GS：利用统一遮挡先验加速结构化3D高斯溅射训练与推理
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 遮挡感知 渲染加速 三维重建 深度图
📋 核心要点
- 现有3D高斯溅射方法在复杂场景中存在冗余，缺乏对遮挡的有效感知，导致渲染效率降低。
- Proxy-GS通过引入快速代理系统生成精确遮挡深度图，从而实现高斯遮挡感知，指导训练和推理。
- 实验表明，Proxy-GS在严重遮挡场景中显著提升了渲染质量和速度，加速比超过Octree-GS的2.5倍。
📝 摘要（中文）
3D高斯溅射(3DGS)已成为实现照片级真实感渲染的有效方法。最近基于MLP的变体进一步提高了视觉保真度，但也带来了巨大的解码开销。为了降低计算成本，引入了几种剪枝策略和细节层次(LOD)技术，旨在有效减少大规模场景中的高斯基元数量。然而，我们的分析表明，由于缺乏遮挡感知，仍然存在显著的冗余。在这项工作中，我们提出了Proxy-GS，一种新颖的pipeline，它利用代理从任何视角引入高斯遮挡感知。我们方法的核心是一个快速代理系统，能够在1毫秒内生成分辨率为1000x1000的精确遮挡深度图。该代理有两个作用：首先，它指导锚点和高斯的剔除，以加速渲染速度。其次，它指导训练期间的稠密化，使其朝向表面，避免遮挡区域的不一致性，并提高渲染质量。在严重遮挡的场景中，例如MatrixCity Streets数据集，Proxy-GS不仅使基于MLP的高斯溅射具有更强的渲染能力，而且实现了更快的渲染速度。具体而言，它比Octree-GS实现了超过2.5倍的加速，并始终提供显著更高的渲染质量。代码将在接受后公开。
🔬 方法详解
问题定义：现有3D高斯溅射方法，特别是基于MLP的变体，在处理大规模、高遮挡场景时，存在大量冗余的高斯基元，导致渲染效率低下。缺乏有效的遮挡感知机制，使得算法难以区分可见表面和被遮挡区域，从而浪费计算资源在不必要的区域。
核心思路：Proxy-GS的核心在于引入一个快速且精确的代理系统，用于生成场景的遮挡深度图。通过利用这些深度图，算法可以有效地识别和剔除被遮挡的高斯基元，从而减少渲染过程中的计算量。同时，遮挡信息也被用于指导训练过程，使得高斯基元更集中于可见表面，避免在遮挡区域产生不一致性。
技术框架：Proxy-GS pipeline主要包含两个阶段：训练阶段和推理阶段。在训练阶段，首先使用快速代理系统生成遮挡深度图。然后，这些深度图被用于指导高斯基元的稠密化过程，使得新的高斯基元更倾向于在可见表面生成。此外，遮挡信息还被用于优化损失函数，以减少遮挡区域的不一致性。在推理阶段，同样使用代理系统生成遮挡深度图，并根据这些深度图剔除被遮挡的高斯基元，从而加速渲染过程。
关键创新：Proxy-GS的关键创新在于利用快速代理系统生成遮挡深度图，并将其应用于3D高斯溅射的训练和推理过程。与传统的剪枝策略和LOD技术相比，Proxy-GS能够更精确地识别和剔除被遮挡的高斯基元，从而更有效地减少冗余。此外，Proxy-GS还能够指导训练过程，使得高斯基元更集中于可见表面，从而提高渲染质量。
关键设计：Proxy-GS的关键设计包括：1) 快速代理系统的设计，需要保证在1ms内生成分辨率为1000x1000的精确遮挡深度图；2) 遮挡深度图在训练和推理过程中的应用方式，包括如何指导高斯基元的稠密化和剔除；3) 损失函数的设计，需要考虑遮挡信息，以减少遮挡区域的不一致性。具体的参数设置和网络结构等技术细节在论文中应该有更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
Proxy-GS在MatrixCity Streets数据集上取得了显著的性能提升，渲染速度比Octree-GS快2.5倍以上，并且渲染质量也得到了显著提高。这表明Proxy-GS在处理严重遮挡场景时具有强大的优势，能够有效地减少冗余，提高渲染效率。
🎯 应用场景
Proxy-GS在需要高效、高质量渲染的大规模、高遮挡场景中具有广泛的应用前景，例如城市级别的三维重建、自动驾驶仿真、虚拟现实和增强现实等。该方法能够显著提高渲染效率，降低计算成本，并提升视觉体验。未来，Proxy-GS可以进一步扩展到动态场景和更复杂的渲染效果。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) has emerged as an efficient approach for achieving photorealistic rendering. Recent MLP-based variants further improve visual fidelity but introduce substantial decoding overhead during rendering. To alleviate computation cost, several pruning strategies and level-of-detail (LOD) techniques have been introduced, aiming to effectively reduce the number of Gaussian primitives in large-scale scenes. However, our analysis reveals that significant redundancy still remains due to the lack of occlusion awareness. In this work, we propose Proxy-GS, a novel pipeline that exploits a proxy to introduce Gaussian occlusion awareness from any view. At the core of our approach is a fast proxy system capable of producing precise occlusion depth maps at a resolution of 1000x1000 under 1ms. This proxy serves two roles: first, it guides the culling of anchors and Gaussians to accelerate rendering speed. Second, it guides the densification towards surfaces during training, avoiding inconsistencies in occluded regions, and improving the rendering quality. In heavily occluded scenarios, such as the MatrixCity Streets dataset, Proxy-GS not only equips MLP-based Gaussian splatting with stronger rendering capability but also achieves faster rendering speed. Specifically, it achieves more than 2.5x speedup over Octree-GS, and consistently delivers substantially higher rendering quality. Code will be public upon acceptance.