PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting

📄 arXiv: 2406.10219v3 📥 PDF

作者: Alex Hanson, Allen Tu, Vasu Singla, Mayuka Jayawardhana, Matthias Zwicker, Tom Goldstein

分类: cs.CV, cs.GR, cs.LG

发布日期: 2024-06-14 (更新: 2025-03-24)

备注: CVPR 2025, Project Page: https://pup3dgs.github.io/

期刊: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025, pp. 5949-5958

💡 一句话要点

PUP 3D-GS：基于不确定性剪枝的3D高斯溅射，提升压缩率并保持视觉质量。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 模型压缩 神经渲染 敏感性分析 剪枝算法 实时渲染 新视角合成

📋 核心要点

  1. 现有3D高斯溅射模型在复杂场景下参数量巨大，导致存储和计算资源需求高，限制了其在资源受限设备上的应用。
  2. 论文提出一种基于重建误差二阶近似的敏感性剪枝方法，并设计多轮剪枝-精炼流程，以在大幅压缩模型的同时保持视觉质量。
  3. 实验结果表明，该方法在大幅度剪枝后，渲染速度显著提升，并在多个数据集上实现了优于现有技术的图像质量。

📝 摘要（中文）

本文提出了一种用于3D高斯溅射(3D-GS)的基于原则的敏感性剪枝方法，旨在解决复杂场景下3D-GS模型体积过大，导致存储和内存需求高的问题。现有剪枝方法依赖启发式规则，在高压缩率下会严重降低视觉保真度和丢失前景细节。本文提出的方法通过计算关于每个高斯空间参数的重建误差二阶近似，得到敏感性剪枝分数。此外，还提出了一个多轮剪枝-精炼流程，可应用于任何预训练的3D-GS模型，无需更改其训练流程。实验表明，在剪枝90%的高斯后，PUP 3D-GS pipeline在Mip-NeRF 360、Tanks & Temples和Deep Blending数据集上，平均渲染速度提高了3.56倍，同时保留了更多的显著前景信息，并实现了比现有技术更高的图像质量指标。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射(3D-GS)模型在复杂场景下参数量过大，导致存储和计算资源需求高的问题。现有剪枝方法依赖启发式规则，在高压缩率下会严重降低视觉保真度和丢失前景细节，特别是前景信息的损失。

核心思路：论文的核心思路是基于重建误差的二阶近似来评估每个高斯对最终渲染结果的贡献程度，即敏感性。通过计算每个高斯空间参数的微小变化对重建误差的影响，可以更准确地判断哪些高斯可以被安全地移除，从而在保证视觉质量的前提下实现更高的压缩率。

技术框架：整体流程包含以下几个主要阶段：1)预训练的3D-GS模型；2)计算每个高斯的敏感性分数，该分数基于重建误差对高斯空间参数的二阶导数；3)根据敏感性分数对高斯进行排序和剪枝；4)对剪枝后的模型进行精炼，以恢复因剪枝而损失的细节。该流程可以迭代进行，即多轮剪枝-精炼。

关键创新：最重要的技术创新点在于提出了基于重建误差二阶近似的敏感性剪枝分数。与现有方法依赖启发式规则不同，该方法提供了一种更原则性和更准确的方式来评估每个高斯的重要性。这种方法能够更好地保留对视觉质量至关重要的前景细节，从而在高压缩率下实现更好的性能。

关键设计：关键设计包括：1) 使用二阶导数（Hessian矩阵）来近似重建误差对高斯空间参数的敏感性，这比一阶导数更准确；2) 设计多轮剪枝-精炼流程，通过迭代剪枝和精炼来逐步提高压缩率，同时避免一次性剪枝导致的信息损失；3) 敏感性分数的计算考虑了高斯的位置、缩放和旋转等空间参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PUP 3D-GS在剪枝90%的高斯后，平均渲染速度提高了3.56倍，同时在Mip-NeRF 360、Tanks & Temples和Deep Blending数据集上，实现了比现有技术更高的图像质量指标。例如，在保持相似的图像质量下，该方法可以实现比现有方法更高的压缩率，或者在相同压缩率下，提供更好的视觉保真度。

🎯 应用场景

该研究成果可广泛应用于需要实时渲染和高压缩率的场景，例如移动设备上的增强现实(AR)和虚拟现实(VR)应用、自动驾驶中的场景重建和渲染、以及机器人导航等。通过降低3D-GS模型的存储和计算需求，可以使其在资源受限的平台上部署，从而扩展其应用范围。未来，该方法可以进一步与其他压缩技术结合，以实现更高的压缩率和更好的性能。

📄 摘要（原文）

Recent advances in novel view synthesis have enabled real-time rendering speeds with high reconstruction accuracy. 3D Gaussian Splatting (3D-GS), a foundational point-based parametric 3D scene representation, models scenes as large sets of 3D Gaussians. However, complex scenes can consist of millions of Gaussians, resulting in high storage and memory requirements that limit the viability of 3D-GS on devices with limited resources. Current techniques for compressing these pretrained models by pruning Gaussians rely on combining heuristics to determine which Gaussians to remove. At high compression ratios, these pruned scenes suffer from heavy degradation of visual fidelity and loss of foreground details. In this paper, we propose a principled sensitivity pruning score that preserves visual fidelity and foreground details at significantly higher compression ratios than existing approaches. It is computed as a second-order approximation of the reconstruction error on the training views with respect to the spatial parameters of each Gaussian. Additionally, we propose a multi-round prune-refine pipeline that can be applied to any pretrained 3D-GS model without changing its training pipeline. After pruning 90% of Gaussians, a substantially higher percentage than previous methods, our PUP 3D-GS pipeline increases average rendering speed by 3.56$\times$ while retaining more salient foreground information and achieving higher image quality metrics than existing techniques on scenes from the Mip-NeRF 360, Tanks & Temples, and Deep Blending datasets.