Proxy-GS: Efficient 3D Gaussian Splatting via Proxy Mesh
作者: Yuanyuan Gao, Yuning Gong, Yifei Liu, Li Jingfeng, Zhihang Zhong, Dingwen Zhang, Yanci Zhang, Dan Xu, Xiao Sun
分类: cs.CV
发布日期: 2025-09-29 (更新: 2025-10-01)
💡 一句话要点
Proxy-GS：利用代理网格实现高效的3D高斯溅射，提升渲染速度与质量
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 遮挡感知 代理网格 高效渲染 场景重建
📋 核心要点
- 现有3D高斯溅射方法在高遮挡场景中存在冗余，缺乏有效的遮挡感知，导致渲染效率降低。
- Proxy-GS利用快速代理网格生成精确的遮挡深度图，指导高斯基元的剔除和训练时的密集化。
- 实验表明，Proxy-GS在MatrixCity Streets等数据集上，显著提升了渲染速度和质量，加速比超过2.5倍。
📝 摘要（中文）
3D高斯溅射(3DGS)已成为一种实现照片级真实感渲染的有效方法。最近基于MLP的变体进一步提高了视觉保真度，但也带来了巨大的渲染解码开销。为了减轻计算成本，已经引入了几种剪枝策略和细节层次(LOD)技术，旨在有效减少大规模场景中高斯基元的数量。然而，我们的分析表明，由于缺乏遮挡感知，仍然存在显著的冗余。在这项工作中，我们提出了Proxy-GS，一种新颖的pipeline，它利用代理网格来引入来自任何视角的高斯遮挡感知。我们方法的核心是一个快速代理系统，能够在1毫秒内生成分辨率为1000x1000的精确遮挡深度图。该代理有两个作用：首先，它指导anchor和高斯的剔除，以加速渲染速度。其次，它指导训练期间的密集化，使其朝向表面，避免遮挡区域的不一致性，并提高渲染质量。在严重遮挡的场景中，例如MatrixCity Streets数据集，Proxy-GS不仅使基于MLP的高斯溅射具有更强的渲染能力，而且实现了更快的渲染速度。具体而言，它比Octree-GS实现了超过2.5倍的加速，并始终提供显著更高的渲染质量。代码将在接收后公开。
🔬 方法详解
问题定义：现有3D高斯溅射方法，特别是基于MLP的变体，在处理大规模、高遮挡场景时，存在计算冗余问题。由于缺乏有效的遮挡感知，算法无法准确判断哪些高斯基元对最终渲染结果贡献较小，导致不必要的计算开销，降低渲染效率。现有剪枝和LOD方法虽有一定效果，但仍无法彻底解决遮挡带来的冗余问题。
核心思路：Proxy-GS的核心思路是引入一个快速、精确的代理网格，用于提供场景的遮挡信息。通过分析代理网格生成的遮挡深度图，算法可以判断哪些高斯基元被遮挡，从而进行剔除或优化。这种遮挡感知机制能够有效减少冗余计算，提高渲染效率。同时，代理网格还用于指导训练过程，避免在遮挡区域产生不一致性，从而提升渲染质量。
技术框架：Proxy-GS的整体框架包含以下几个主要模块：1) 快速代理系统：负责生成场景的代理网格和遮挡深度图，要求速度快、精度高。2) 高斯剔除模块：利用遮挡深度图，剔除被遮挡的高斯基元，减少渲染计算量。3) 训练指导模块：利用遮挡深度图，指导训练过程中的高斯基元密集化，使其更集中于可见表面，避免在遮挡区域产生冗余。4) 渲染模块：使用优化后的高斯基元进行渲染，生成最终图像。
关键创新：Proxy-GS最重要的创新点在于引入了代理网格来提供遮挡感知。与传统的剪枝或LOD方法不同，Proxy-GS能够从全局视角理解场景的遮挡关系，从而更准确地剔除冗余高斯基元。此外，利用代理网格指导训练过程，可以有效避免在遮挡区域产生不一致性，提升渲染质量。这种基于代理的遮挡感知机制是Proxy-GS能够实现高效渲染的关键。
关键设计：快速代理系统的设计是关键。论文提到该系统能够在1ms内生成1000x1000分辨率的遮挡深度图，具体实现细节未知。高斯剔除模块可能采用基于深度比较的策略，将高斯基元的深度与遮挡深度图进行比较，判断是否被遮挡。训练指导模块可能通过调整损失函数或梯度更新方向，使高斯基元更集中于可见表面。具体的损失函数形式和网络结构等细节未知。
🖼️ 关键图片
📊 实验亮点
Proxy-GS在MatrixCity Streets数据集上取得了显著的性能提升。与Octree-GS相比，Proxy-GS实现了超过2.5倍的渲染速度提升，同时保持了更高的渲染质量。实验结果表明，Proxy-GS能够有效减少冗余计算，提高渲染效率，尤其是在高遮挡场景中表现出色。具体的量化指标（如PSNR、SSIM等）的提升幅度未知。
🎯 应用场景
Proxy-GS在需要高效、高质量3D渲染的领域具有广泛的应用前景，例如自动驾驶、虚拟现实、增强现实、游戏开发和城市建模等。该方法能够显著提升渲染速度和质量，尤其是在大规模、高遮挡场景中，可以为用户提供更流畅、更逼真的视觉体验。未来，Proxy-GS有望成为下一代3D渲染引擎的核心技术之一。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) has emerged as an efficient approach for achieving photorealistic rendering. Recent MLP-based variants further improve visual fidelity but introduce substantial decoding overhead during rendering. To alleviate computation cost, several pruning strategies and level-of-detail (LOD) techniques have been introduced, aiming to effectively reduce the number of Gaussian primitives in large-scale scenes. However, our analysis reveals that significant redundancy still remains due to the lack of occlusion awareness. In this work, we propose Proxy-GS, a novel pipeline that exploits a proxy to introduce Gaussian occlusion awareness from any view. At the core of our approach is a fast proxy system capable of producing precise occlusion depth maps at a resolution of 1000x1000 under 1ms. This proxy serves two roles: first, it guides the culling of anchors and Gaussians to accelerate rendering speed. Second, it guides the densification towards surfaces during training, avoiding inconsistencies in occluded regions, and improving the rendering quality. In heavily occluded scenarios, such as the MatrixCity Streets dataset, Proxy-GS not only equips MLP-based Gaussian splatting with stronger rendering capability but also achieves faster rendering speed. Specifically, it achieves more than 2.5x speedup over Octree-GS, and consistently delivers substantially higher rendering quality. Code will be public upon acceptance.