EnerGS: Energy-Based Gaussian Splatting with Partial Geometric Priors

📄 arXiv: 2604.26238v1 📥 PDF

作者: Rui Song, Tianhui Cai, Markus Gross, Yun Zhang, Walter Zimmer, Zhiyu Huang, Olaf Wysocki, Jiaqi Ma

分类: cs.CV

发布日期: 2026-04-29

💡 一句话要点

EnerGS：基于能量的3D高斯溅射，利用部分几何先验提升重建质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 场景重建 几何先验 能量场 室外场景 稀疏重建 单目重建

📋 核心要点

  1. 现有3DGS方法依赖完整几何先验，但在大型室外场景中，几何信息通常不完整且不均匀，导致重建质量下降。
  2. EnerGS将部分几何信息建模为连续能量场，为高斯基元优化提供软约束，引导优化过程而非直接限制解空间。
  3. 实验表明，EnerGS在稀疏多视图和单目设置下，提升了光度质量和几何稳定性，并有效缓解了过拟合。

📝 摘要（中文）

3D高斯溅射(3DGS)已被广泛应用于场景重建，但其训练本质上是一个高度耦合且非凸的优化问题。现有工作通常结合几何先验，如激光雷达测量，用于初始化或作为训练约束，以提高光度重建质量。然而，在大型室外场景中，这种几何监督通常在空间上是不完整和不均匀的，这限制了其作为可靠先验的有效性，甚至可能对最终重建产生不利影响。为了解决这一挑战，我们将部分可观测的几何体建模为由几何证据引起的连续能量场，并提出了EnerGS。EnerGS不是将几何体作为硬约束来强制执行，而是为高斯基元的优化提供软几何指导，允许几何信息引导优化过程，而无需直接限制解空间。在大型室外场景上的大量实验表明，在稀疏多视图和单目设置下，EnerGS始终提高光度质量和几何稳定性，同时有效减轻3DGS训练期间的过拟合。

🔬 方法详解

问题定义：现有3D高斯溅射（3DGS）方法在场景重建中面临挑战，尤其是在大型室外场景中，由于几何先验信息（如LiDAR数据）的不完整性和不均匀性，导致重建质量下降，容易出现过拟合现象。现有方法通常将几何信息作为硬约束，限制了解空间，反而影响了最终的重建效果。

核心思路：EnerGS的核心思路是将部分可观测的几何信息建模为一个连续的能量场。这个能量场由已知的几何证据（例如，稀疏的LiDAR点云）诱导产生。通过这种方式，几何信息不再是硬性的约束，而是作为一种软性的指导，引导高斯基元的优化过程。这种方法允许模型在几何信息不足的区域进行更灵活的调整，从而避免过拟合。

技术框架：EnerGS的整体框架是在标准的3DGS训练流程中引入一个能量项。该能量项基于几何先验信息构建，并添加到总的损失函数中。训练过程中，模型不仅要最小化光度损失，还要最小化能量项，从而使得高斯基元的分布更加符合已知的几何信息。具体流程包括：1）获取部分几何先验信息；2）构建能量场；3）将能量项加入到3DGS的损失函数中；4）优化高斯基元参数。

关键创新：EnerGS的关键创新在于将几何先验信息从硬约束转变为软约束。与现有方法直接利用几何信息初始化高斯基元或作为硬性约束不同，EnerGS通过能量场的形式，允许几何信息引导优化过程，而不是直接限制解空间。这种方法能够更好地处理不完整和不均匀的几何信息，从而提高重建质量和几何稳定性。

关键设计：EnerGS的关键设计包括能量场的构建方式和能量项的权重。能量场通常基于距离场构建，距离场表示空间中每个点到最近几何表面的距离。能量项的权重控制了几何先验信息对优化过程的影响程度。合适的权重能够平衡光度损失和几何约束，从而获得最佳的重建效果。此外，论文可能还涉及高斯基元的参数化方式、损失函数的选择等技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EnerGS在大型室外场景重建任务中表现出色，尤其是在几何先验信息不完整的情况下。实验结果表明，EnerGS在光度质量和几何稳定性方面均优于现有方法。具体而言，在稀疏多视图和单目设置下，EnerGS能够显著降低重建误差，并有效缓解过拟合现象。论文可能提供了定量指标，例如PSNR、SSIM等，来证明EnerGS的优越性。

🎯 应用场景

EnerGS在大型室外场景重建、自动驾驶、城市建模等领域具有广泛的应用前景。该方法能够利用不完整的几何信息，提高重建质量和几何稳定性，从而为相关应用提供更准确的三维场景表示。例如，在自动驾驶中，EnerGS可以用于构建高精度的环境地图，提高车辆的感知能力和安全性。在城市建模中，EnerGS可以用于快速生成三维城市模型，为城市规划和管理提供支持。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has been widely adopted for scene reconstruction, where training inherently constitutes a highly coupled and non-convex optimization problem. Recent works commonly incorporate geometric priors, such as LiDAR measurements, either for initialization or as training constraints, with the goal of improving photometric reconstruction quality. However, in large-scale outdoor scenarios, such geometric supervision is often spatially incomplete and uneven, which limits its effectiveness as a reliable prior and can even be detrimental to the final reconstruction. To address this challenge, we model partially observable geometry as a continuous energy field induced by geometric evidence and propose EnerGS. Rather than enforcing geometry as a hard constraint, EnerGS provides a soft geometric guidance for the optimization of Gaussian primitives, allowing geometric information to steer the optimization process without directly restricting the solution space. Extensive experiments on large-scale outdoor scenes demonstrate that, under both sparse multi-view and monocular settings, EnerGS consistently improves photometric quality and geometric stability, while effectively mitigating overfitting during 3DGS training.