Beyond Heuristics: Learnable Density Control for 3D Gaussian Splatting

📄 arXiv: 2605.00408v1 📥 PDF

作者: Zhenhua Ning, Xin Li, Jun Yu, Guangming Lu, Yaowei Wang, Wenjie Pei

分类: cs.CV

发布日期: 2026-05-01

🔗 代码/项目: GITHUB

💡 一句话要点

LeGS：基于强化学习的可学习密度控制，提升3D高斯溅射渲染质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 密度控制 强化学习 神经渲染 三维重建

📋 核心要点

  1. 3D高斯溅射依赖启发式密度控制，难以适应复杂场景，限制了渲染质量和效率。
  2. LeGS将密度控制建模为强化学习策略，通过优化参数化网络实现自适应密度调整。
  3. LeGS在多个数据集上超越了现有方法，在重建质量和效率之间取得了更好的平衡。

📝 摘要（中文）

3D高斯溅射(3DGS)虽然展现了令人印象深刻的实时渲染性能，但其有效性仍然受到启发式密度控制的限制。尽管对这些手工规则进行了多次改进，但这些方法本质上缺乏适应具有复杂几何形状的不同场景的灵活性。本文提出了一种密度控制的范式转变，从刚性的启发式方法转变为完全可学习的策略。具体来说，我们引入了LeGS，这是一个将密度控制重新定义为通过强化学习(RL)优化的参数化策略网络的框架。我们方法的中心是基于敏感性分析的定制有效奖励函数，它精确地量化了单个高斯对重建质量的边际贡献。为了保持计算上的可处理性，我们推导出一个闭式解，将奖励计算的复杂度从O(N^2)降低到O(N)。在Mip-NeRF 360、Tanks & Temples和Deep Blending数据集上的大量实验表明，LeGS显著优于最先进的方法，在重建质量和效率之间取得了更好的平衡。

🔬 方法详解

问题定义：现有3D高斯溅射方法依赖于手工设计的启发式规则进行密度控制，这些规则缺乏灵活性，难以适应具有复杂几何形状的各种场景。这导致重建质量受限，且难以达到最优的渲染效率。现有方法的痛点在于无法根据场景的特性自适应地调整高斯分布的密度。

核心思路：LeGS的核心思路是将密度控制问题转化为一个强化学习问题。通过训练一个策略网络，该网络可以根据当前场景的状态（例如，高斯分布的参数、渲染图像的误差等）动态地调整高斯分布的参数，从而实现自适应的密度控制。这样可以克服启发式规则的局限性，更好地适应不同的场景。

技术框架：LeGS框架主要包含以下几个模块：1) 3D高斯溅射渲染模块：负责将高斯分布渲染成图像。2) 策略网络：根据当前场景的状态，输出对高斯分布参数的调整策略。3) 奖励函数：根据渲染图像的质量和效率，计算奖励值，用于训练策略网络。4) 强化学习算法：使用强化学习算法（例如，Policy Gradient）优化策略网络。

关键创新：LeGS最重要的技术创新点在于将密度控制问题建模为一个强化学习问题，并设计了一个有效的奖励函数。该奖励函数基于敏感性分析，能够精确地量化单个高斯对重建质量的边际贡献。此外，LeGS还提出了一个闭式解，将奖励计算的复杂度从O(N^2)降低到O(N)，提高了计算效率。与现有方法的本质区别在于，LeGS不再依赖手工设计的启发式规则，而是通过学习的方式自动地调整高斯分布的密度。

关键设计：奖励函数的设计是LeGS的关键。该奖励函数综合考虑了重建质量和效率。重建质量通过计算渲染图像与真实图像之间的差异来衡量。效率通过计算渲染图像所需的时间来衡量。策略网络可以使用各种神经网络结构，例如，多层感知机（MLP）或卷积神经网络（CNN）。强化学习算法可以使用各种Policy Gradient算法，例如，REINFORCE或PPO。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LeGS在Mip-NeRF 360、Tanks & Temples和Deep Blending数据集上进行了广泛的实验。实验结果表明，LeGS显著优于现有的最先进方法，在重建质量和效率之间取得了更好的平衡。例如，在Mip-NeRF 360数据集上，LeGS在保持相似渲染速度的同时，将PSNR指标提高了约1dB。

🎯 应用场景

LeGS在三维重建、虚拟现实、增强现实等领域具有广泛的应用前景。它可以用于生成高质量的三维模型，并实现实时的渲染。此外，LeGS还可以应用于自动驾驶、机器人导航等领域，为这些应用提供更准确、更高效的三维场景表示。

📄 摘要（原文）

While 3D Gaussian Splatting (3DGS) has demonstrated impressive real-time rendering performance, its efficacy remains constrained by a reliance on heuristic density control. Despite numerous refinements to these handcrafted rules, such methods inherently lack the flexibility to adapt to diverse scenes with complex geometries. In this paper, we propose a paradigm shift for density control from rigid heuristics to fully learnable policies. Specifically, we introduce \textbf{LeGS}, a framework that reformulates density control as a parameterized policy network optimized via Reinforcement Learning (RL). Central to our approach is the tailored effective reward function grounded in sensitivity analysis, which precisely quantifies the marginal contribution of individual Gaussians to reconstruction quality. To maintain computational tractability, we derive a closed-form solution that reduces the complexity of reward calculation from $O(N^2)$ to $O(N)$. Extensive experiments on the Mip-NeRF 360, Tanks \& Temples, and Deep Blending datasets demonstrate that \textbf{LeGS} significantly outperforms state-of-the-art methods, striking a superior balance between reconstruction quality and efficiency. The code will be released at https://github.com/AaronNZH/LeGS