ConeGS: Error-Guided Densification Using Pixel Cones for Improved Reconstruction with Fewer Primitives

📄 arXiv: 2511.06810v1 📥 PDF

作者: Bartłomiej Baranowski, Stefano Esposito, Patricia Gschoßmann, Anpei Chen, Andreas Geiger

分类: cs.CV

发布日期: 2025-11-10

💡 一句话要点

ConeGS：利用像素锥误差引导稠密化，以更少图元实现更优重建

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D高斯溅射 神经渲染 novel view synthesis 稠密化 像素锥 误差引导 三维重建

📋 核心要点

  1. 现有3DGS方法依赖于基于克隆的稠密化，导致图元分布受限，需要大量图元才能充分覆盖复杂场景。
  2. ConeGS利用iNGP作为几何代理，通过像素锥误差引导高斯图元的稠密化，独立于现有几何状态。
  3. 实验表明，ConeGS在各种图元预算下均能提升重建质量和渲染性能，尤其在图元数量受限时优势明显。

📝 摘要（中文）

3D高斯溅射(3DGS)在 novel view synthesis 中实现了最先进的图像质量和实时性能，但通常存在图元空间分布次优的问题。这个问题源于基于克隆的稠密化，它沿着现有几何体传播高斯分布，限制了探索，需要大量图元才能充分覆盖场景。我们提出了 ConeGS，一个图像空间信息驱动的稠密化框架，它独立于现有的场景几何状态。ConeGS 首先创建一个快速的 Instant Neural Graphics Primitives (iNGP) 重建作为几何代理来估计每个像素的深度。在随后的 3DGS 优化过程中，它识别高误差像素，并沿着相应的 viewing cones 在预测的深度值处插入新的高斯分布，根据锥的直径初始化它们的大小。预激活不透明度惩罚迅速移除冗余高斯分布，而图元预算策略控制图元的总数，可以通过固定预算或适应场景复杂度来实现，从而确保高重建质量。实验表明，ConeGS 在各种高斯预算下都能持续提高重建质量和渲染性能，尤其是在图元约束严格的情况下，高效放置至关重要。

🔬 方法详解

问题定义：3DGS虽然在novel view synthesis中表现出色，但其基于克隆的稠密化策略导致图元分布不合理，难以有效覆盖复杂场景，需要大量图元才能达到理想的重建效果，计算成本高昂。现有方法难以在图元数量有限的情况下，保证重建质量。

核心思路：ConeGS的核心在于利用图像空间的信息，特别是像素误差和深度信息，来引导高斯图元的稠密化过程。通过预测每个像素的深度，并沿着 viewing cones 插入新的高斯图元，可以更有效地探索场景几何，避免了传统方法对现有几何体的依赖。

技术框架：ConeGS的整体框架包含以下几个主要阶段：1. 使用iNGP快速重建场景，作为几何代理，用于估计像素深度。2. 在3DGS优化过程中，识别高误差像素。3. 沿着与高误差像素对应的 viewing cones，在预测的深度值处插入新的高斯图元。4. 根据锥的直径初始化高斯图元的大小。5. 使用预激活不透明度惩罚快速移除冗余高斯图元。6. 使用图元预算策略控制图元总数。

关键创新：ConeGS的关键创新在于其图像空间信息驱动的稠密化策略，它不再依赖于现有的场景几何状态，而是通过像素误差和深度信息来引导图元的放置。这种方法能够更有效地探索场景几何，减少冗余图元的数量，提高重建质量。与现有方法相比，ConeGS能够以更少的图元实现更好的重建效果。

关键设计：ConeGS的关键设计包括：1. 使用iNGP作为几何代理，快速估计像素深度。2. 根据锥的直径初始化高斯图元的大小，使其与场景几何更加匹配。3. 使用预激活不透明度惩罚快速移除冗余高斯图元，提高渲染效率。4. 图元预算策略，可以根据场景复杂度自适应地调整图元数量，或者使用固定预算。

📊 实验亮点

实验结果表明，ConeGS在各种高斯预算下都能持续提高重建质量和渲染性能。尤其是在图元约束严格的情况下，ConeGS的优势更加明显。在相同图元数量下，ConeGS能够显著降低重建误差，提高图像质量。例如，在某些场景下，ConeGS能够以更少的图元达到与现有方法相当甚至更好的重建效果。

🎯 应用场景

ConeGS可应用于各种需要高质量、高效率三维重建的场景，例如：虚拟现实/增强现实(VR/AR)、机器人导航、自动驾驶、三维地图构建、以及电影特效制作等。该方法能够以更少的资源实现更优的重建效果，降低了计算成本，使得在资源受限的设备上进行高质量三维重建成为可能。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) achieves state-of-the-art image quality and real-time performance in novel view synthesis but often suffers from a suboptimal spatial distribution of primitives. This issue stems from cloning-based densification, which propagates Gaussians along existing geometry, limiting exploration and requiring many primitives to adequately cover the scene. We present ConeGS, an image-space-informed densification framework that is independent of existing scene geometry state. ConeGS first creates a fast Instant Neural Graphics Primitives (iNGP) reconstruction as a geometric proxy to estimate per-pixel depth. During the subsequent 3DGS optimization, it identifies high-error pixels and inserts new Gaussians along the corresponding viewing cones at the predicted depth values, initializing their size according to the cone diameter. A pre-activation opacity penalty rapidly removes redundant Gaussians, while a primitive budgeting strategy controls the total number of primitives, either by a fixed budget or by adapting to scene complexity, ensuring high reconstruction quality. Experiments show that ConeGS consistently enhances reconstruction quality and rendering performance across Gaussian budgets, with especially strong gains under tight primitive constraints where efficient placement is crucial.