VEDAL: Variational Error-Driven Asynchronous Learning for 3D Gaussian Splatting Pruning

📄 arXiv: 2606.02346v1 📥 PDF

作者: Aoduo Li, Jiancheng Li, Huan Ye, Hongjian Xu, Shiting Wu, Xiujun Zhang, Zimeng Li, Xuhang Chen

分类: cs.CV

发布日期: 2026-06-01

备注: 12 pages, 5 figures. Accepted by CGI 2026

💡 一句话要点

VEDAL：基于变分误差驱动异步学习的3D高斯溅射剪枝

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 剪枝 变分推断 新视角合成 模型压缩

📋 核心要点

  1. 3D高斯溅射虽然渲染质量高，但内存占用巨大，现有剪枝方法依赖启发式规则，效果欠佳且训练不稳定。
  2. VEDAL将高斯剪枝建模为变分自由能最小化，通过预测误差门控和变分不确定性头实现异步剪枝。
  3. 实验表明，VEDAL在保证实时渲染速度的同时，实现了更高的压缩率和更好的重建质量，优于现有方法。

📝 摘要（中文）

3D高斯溅射(3DGS)在实现实时渲染的同时，展现了卓越的新视角合成质量，但由于数百万个高斯基元导致内存消耗过大。现有的剪枝方法依赖于启发式重要性评分或同步批量更新，导致次优的压缩效果和训练不稳定。我们提出了VEDAL，一个原则性框架，将高斯剪枝形式化为变分自由能最小化问题。我们的方法引入了(1)一种预测误差门控机制，该机制基于每个高斯重建的不确定性异步激活剪枝，以及(2)一个变分不确定性头，它将剪枝决策建模为具有可学习先验的潜在变量。自由能目标通过信息论的视角自然地平衡了重建保真度和模型复杂度。在Mip-NeRF 360、Tanks&Temples和Deep Blending上的大量实验表明，VEDAL实现了5.2倍的压缩率，同时PSNR仅下降0.31 dB，优于PUP 3D-GS +0.05 dB（在更高的压缩率下）和LightGaussian +0.35 dB（在相当的质量下），同时保持了185 FPS的实时渲染。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)虽然能实现高质量的新视角合成和实时渲染，但其使用的数百万个高斯基元导致了巨大的内存占用。现有的剪枝方法，例如基于启发式重要性评分或同步批量更新的方法，往往无法达到最优的压缩效果，并且容易导致训练不稳定。因此，如何在保证重建质量和渲染速度的前提下，有效地压缩3DGS模型是一个关键问题。

核心思路：VEDAL的核心思路是将高斯剪枝问题形式化为一个变分自由能最小化问题。通过引入预测误差门控机制和变分不确定性头，VEDAL能够根据每个高斯基元的重建不确定性异步地进行剪枝，并学习剪枝决策的先验分布。这种方法能够自然地平衡重建保真度和模型复杂度，从而实现更有效的模型压缩。

技术框架：VEDAL的整体框架包括以下几个主要模块：1) 3DGS渲染模块，用于生成新视角的图像；2) 预测误差门控模块，根据每个高斯基元的重建误差来决定是否激活剪枝；3) 变分不确定性头，用于建模剪枝决策的潜在变量，并学习其先验分布；4) 自由能优化模块，通过最小化自由能来平衡重建保真度和模型复杂度。整个流程是异步的，即每个高斯基元的剪枝决策是独立进行的，而不是批量同步更新。

关键创新：VEDAL最重要的技术创新点在于其将高斯剪枝问题建模为变分自由能最小化问题，并引入了预测误差门控机制和变分不确定性头。与现有方法相比，VEDAL能够更精确地评估每个高斯基元的重要性，并根据其重建不确定性进行异步剪枝，从而避免了次优的压缩效果和训练不稳定。此外，VEDAL通过学习剪枝决策的先验分布，能够更好地平衡重建保真度和模型复杂度。

关键设计：VEDAL的关键设计包括：1) 预测误差门控机制，使用重建误差作为激活剪枝的信号；2) 变分不确定性头，使用神经网络来建模剪枝决策的潜在变量，并学习其先验分布；3) 自由能损失函数，用于平衡重建误差和模型复杂度，其中重建误差可以使用L1或L2损失，模型复杂度可以使用KL散度来衡量。具体的网络结构和参数设置需要根据具体的应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VEDAL在Mip-NeRF 360、Tanks&Temples和Deep Blending数据集上进行了广泛的实验。实验结果表明，VEDAL能够在仅损失0.31 dB PSNR的情况下，实现5.2倍的压缩率。与PUP 3D-GS相比，VEDAL在更高的压缩率下，PSNR提高了0.05 dB。与LightGaussian相比，VEDAL在相当的质量下，PSNR提高了0.35 dB。同时，VEDAL保持了185 FPS的实时渲染速度。

🎯 应用场景

VEDAL在三维重建、新视角合成、虚拟现实/增强现实等领域具有广泛的应用前景。通过有效压缩3DGS模型，VEDAL可以降低存储和计算成本，使其能够部署在资源受限的设备上，例如移动设备和嵌入式系统。此外，VEDAL还可以用于加速三维场景的编辑和优化，提高用户体验。未来，VEDAL有望成为三维视觉领域的一项重要技术。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) achieves remarkable novel view synthesis quality with real-time rendering, yet suffers from excessive memory consumption due to millions of Gaussian primitives. Existing pruning methods rely on heuristic importance scores or synchronous batch updates, leading to suboptimal compression and training instability. We propose VEDAL, a principled framework that formulates Gaussian pruning as variational free energy minimization. Our approach introduces (1) a prediction-error gating mechanism that asynchronously activates pruning based on per-Gaussian reconstruction uncertainty, and (2) a variational uncertainty head that models pruning decisions as latent variables with learnable priors. The free energy objective naturally balances reconstruction fidelity against model complexity through an information-theoretic lens. Extensive experiments on Mip-NeRF 360, Tanks&Temples, and Deep Blending demonstrate that VEDAL achieves 5.2x compression with only 0.31 dB PSNR drop, outperforming PUP 3D-GS by +0.05 dB at a higher compression ratio and LightGaussian by +0.35 dB at comparable quality, while maintaining real-time rendering at 185 FPS.