3DGEER: Exact and Efficient Volumetric Rendering with 3D Gaussians

📄 arXiv: 2505.24053v1 📥 PDF

作者: Zixun Huang, Cho-Ying Wu, Yuliang Guo, Xinyu Huang, Liu Ren

分类: cs.GR, cs.CV

发布日期: 2025-05-29

💡 一句话要点

提出3DGEER，实现精确高效的基于3D高斯的体渲染，尤其适用于大FoV相机。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经渲染 3D高斯溅射 体渲染 大视场相机 实时渲染

📋 核心要点

  1. 现有3DGS方法在高效率的同时，依赖于3D高斯到2D高斯的近似投影，导致在大FoV相机下渲染质量受限。
  2. 3DGEER通过推导3D高斯分布沿光线的密度积分闭式解，实现了精确的前向渲染和梯度优化。
  3. 通过粒子边界视锥(PBF)和双极等角投影(BEAP)，实现了光线-高斯关联的加速，保证了实时性能。

📝 摘要（中文）

3D高斯溅射(3DGS)在可微渲染的质量和效率之间取得了显著的平衡。然而，其高效率源于将3D高斯投影到图像平面上近似为2D高斯，这从根本上限制了渲染质量，尤其是在大视场(FoV)相机输入下。虽然最近的一些工作扩展了3DGS以减轻这些近似误差，但没有一个能同时成功地实现精确性和高效率。本文提出了一种精确高效的体高斯渲染方法3DGEER。从第一性原理出发，推导了光线穿过3D高斯分布的密度积分的闭式表达式。这种公式能够使用任意相机模型进行精确的前向渲染，并支持基于梯度的3D高斯参数优化。为了确保精确性和实时性能，提出了一种有效的方法来计算每个3D高斯的紧密粒子边界视锥(PBF)，从而实现准确高效的光线-高斯关联。还引入了一种新的双极等角投影(BEAP)表示，以加速通用相机模型下的光线关联。BEAP进一步提供了一种更均匀的光线采样策略来应用监督，这在经验上提高了重建质量。在多个针孔和鱼眼数据集上的实验表明，该方法始终优于先前的方法，在实时神经渲染中建立了新的最先进水平。

🔬 方法详解

问题定义：3DGS虽然渲染速度快，但其将3D高斯投影为2D高斯的近似处理，在大视场（FoV）相机下会引入显著的渲染误差，导致重建质量下降。现有方法试图缓解这个问题，但往往牺牲了渲染效率，无法同时保证精确性和实时性。

核心思路：3DGEER的核心思路是避免3D高斯到2D高斯的近似投影，直接计算光线穿过3D高斯分布的体密度积分。通过推导闭式解，实现了精确的体渲染，从而避免了近似误差。同时，通过高效的光线-高斯关联方法，保证了渲染的实时性。

技术框架：3DGEER的整体框架包括以下几个主要步骤：1）初始化3D高斯参数；2）计算每个3D高斯的粒子边界视锥（PBF）；3）使用双极等角投影（BEAP）加速光线-高斯关联；4）计算光线穿过3D高斯的体密度积分；5）进行前向渲染，并计算损失；6）基于梯度优化3D高斯参数。

关键创新：3DGEER的关键创新在于：1）推导了3D高斯分布沿光线的密度积分的闭式解，实现了精确的体渲染；2）提出了粒子边界视锥（PBF）和双极等角投影（BEAP），加速了光线-高斯关联，保证了实时性；3）BEAP还提供了一种更均匀的光线采样策略，提高了重建质量。

关键设计：PBF的设计旨在为每个3D高斯创建一个紧密的边界，减少不必要的光线-高斯关联计算。BEAP将球面坐标系划分为两个半球，并使用等角投影将每个半球映射到平面上，从而加速光线-高斯关联。损失函数包括渲染损失和正则化项，用于优化3D高斯参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，3DGEER在多个针孔和鱼眼数据集上均优于现有方法，包括3DGS及其变体。在保证实时渲染速度的同时，显著提高了重建质量。例如，在某些数据集上，3DGEER的PSNR指标比现有方法提高了1-2dB，证明了其精确性和有效性。

🎯 应用场景

3DGEER可应用于各种需要高质量、高效率神经渲染的场景，例如：虚拟现实/增强现实(VR/AR)、自动驾驶、机器人导航、游戏开发、以及电影特效等。该方法能够在大视场相机下实现精确的场景重建和渲染，为这些应用提供更好的视觉体验和更强的环境感知能力。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) marks a significant milestone in balancing the quality and efficiency of differentiable rendering. However, its high efficiency stems from an approximation of projecting 3D Gaussians onto the image plane as 2D Gaussians, which inherently limits rendering quality--particularly under large Field-of-View (FoV) camera inputs. While several recent works have extended 3DGS to mitigate these approximation errors, none have successfully achieved both exactness and high efficiency simultaneously. In this work, we introduce 3DGEER, an Exact and Efficient Volumetric Gaussian Rendering method. Starting from first principles, we derive a closed-form expression for the density integral along a ray traversing a 3D Gaussian distribution. This formulation enables precise forward rendering with arbitrary camera models and supports gradient-based optimization of 3D Gaussian parameters. To ensure both exactness and real-time performance, we propose an efficient method for computing a tight Particle Bounding Frustum (PBF) for each 3D Gaussian, enabling accurate and efficient ray-Gaussian association. We also introduce a novel Bipolar Equiangular Projection (BEAP) representation to accelerate ray association under generic camera models. BEAP further provides a more uniform ray sampling strategy to apply supervision, which empirically improves reconstruction quality. Experiments on multiple pinhole and fisheye datasets show that our method consistently outperforms prior methods, establishing a new state-of-the-art in real-time neural rendering.