IDESplat: Iterative Depth Probability Estimation for Generalizable 3D Gaussian Splatting

📄 arXiv: 2601.03824v1 📥 PDF

作者: Wei Long, Haifeng Wu, Shiyin Jiang, Jinhua Zhang, Xinchun Ji, Shuhang Gu

分类: cs.CV, cs.AI

发布日期: 2026-01-07

💡 一句话要点

IDESplat：迭代深度概率估计，提升通用3D高斯溅射重建效果

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 深度估计 三维重建 多视角几何 迭代优化

📋 核心要点

  1. 现有通用3D高斯溅射方法依赖单次warp进行深度估计，难以充分利用跨视角几何信息，导致深度图质量不高。
  2. IDESplat通过迭代warp操作增强深度概率估计，利用深度概率增强单元（DPBU）和迭代深度估计过程逐步细化深度图。
  3. 实验表明，IDESplat在重建质量、参数量、内存占用和泛化能力方面均优于现有方法，实现了显著的性能提升。

📝 摘要（中文）

通用3D高斯溅射旨在通过前馈网络直接预测高斯参数以进行场景重建。其中，高斯均值的预测尤为困难，因此通常先估计深度，然后反投影以获得高斯球心。现有方法通常仅依赖于单次warp来估计深度概率，这阻碍了它们充分利用跨视角几何线索的能力，导致深度图不稳定且粗糙。为了解决这个限制，我们提出了IDESplat，它迭代地应用warp操作来增强深度概率估计，从而实现准确的高斯均值预测。首先，为了消除单次warp固有的不稳定性，我们引入了一个深度概率增强单元（DPBU），它以乘法方式集成了由级联warp操作产生的极线注意力图。接下来，我们通过堆叠多个DPBU来构建迭代深度估计过程，逐步识别具有高可能性的潜在深度候选。随着IDESplat迭代地增强深度概率估计并更新深度候选，深度图逐渐细化，从而产生准确的高斯均值。我们在RealEstate10K、ACID和DL3DV上进行了实验。IDESplat实现了出色的重建质量和最先进的性能，同时保持了实时效率。在RE10K上，它以仅10.7%的参数和70%的内存，优于DepthSplat 0.33 dB的PSNR。此外，在跨数据集实验中，我们的IDESplat在DTU数据集上比DepthSplat提高了2.95 dB的PSNR，展示了其强大的泛化能力。

🔬 方法详解

问题定义：通用3D高斯溅射旨在从多视角图像中重建场景，并使用高斯参数表示场景。现有方法在预测高斯均值时面临挑战，通常依赖深度估计。然而，现有方法仅使用单次warp进行深度概率估计，无法充分利用多视角几何信息，导致深度图粗糙且不稳定，最终影响重建质量。

核心思路：IDESplat的核心思路是通过迭代地应用warp操作来增强深度概率估计。通过多次warp操作，可以更全面地利用跨视角几何信息，从而更准确地估计深度。此外，通过迭代地更新深度候选，可以逐步细化深度图，提高深度估计的精度。

技术框架：IDESplat主要包含深度概率增强单元（DPBU）和迭代深度估计过程。DPBU通过级联warp操作生成极线注意力图，并以乘法方式集成这些注意力图，从而增强深度概率。迭代深度估计过程通过堆叠多个DPBU，逐步识别具有高可能性的深度候选，并更新深度图。整个框架通过迭代的方式，不断提升深度估计的精度。

关键创新：IDESplat的关键创新在于迭代深度概率估计和深度概率增强单元（DPBU）。迭代深度概率估计能够充分利用跨视角几何信息，逐步细化深度图。DPBU通过乘法方式集成极线注意力图，有效消除了单次warp固有的不稳定性。

关键设计：DPBU的设计是关键。它通过级联warp操作生成多个极线注意力图，这些注意力图反映了不同视角下的几何一致性。然后，DPBU以乘法方式集成这些注意力图，从而增强深度概率。迭代次数是一个重要的参数，需要根据具体场景进行调整。损失函数的设计也至关重要，需要平衡深度估计的准确性和稳定性。

📊 实验亮点

IDESplat在RealEstate10K数据集上取得了显著的性能提升，PSNR指标优于DepthSplat 0.33 dB，同时参数量仅为DepthSplat的10.7%，内存占用仅为70%。在跨数据集实验中，IDESplat在DTU数据集上比DepthSplat提高了2.95 dB的PSNR，展示了其强大的泛化能力。这些实验结果表明，IDESplat在重建质量、效率和泛化能力方面均优于现有方法。

🎯 应用场景

IDESplat在三维重建领域具有广泛的应用前景，例如虚拟现实、增强现实、机器人导航、自动驾驶等。该方法能够生成高质量的三维场景模型，为这些应用提供更真实、更精确的环境信息。此外，IDESplat的实时效率使其能够应用于需要快速重建的场景，例如实时三维扫描和动态场景重建。

📄 摘要（原文）

Generalizable 3D Gaussian Splatting aims to directly predict Gaussian parameters using a feed-forward network for scene reconstruction. Among these parameters, Gaussian means are particularly difficult to predict, so depth is usually estimated first and then unprojected to obtain the Gaussian sphere centers. Existing methods typically rely solely on a single warp to estimate depth probability, which hinders their ability to fully leverage cross-view geometric cues, resulting in unstable and coarse depth maps. To address this limitation, we propose IDESplat, which iteratively applies warp operations to boost depth probability estimation for accurate Gaussian mean prediction. First, to eliminate the inherent instability of a single warp, we introduce a Depth Probability Boosting Unit (DPBU) that integrates epipolar attention maps produced by cascading warp operations in a multiplicative manner. Next, we construct an iterative depth estimation process by stacking multiple DPBUs, progressively identifying potential depth candidates with high likelihood. As IDESplat iteratively boosts depth probability estimates and updates the depth candidates, the depth map is gradually refined, resulting in accurate Gaussian means. We conduct experiments on RealEstate10K, ACID, and DL3DV. IDESplat achieves outstanding reconstruction quality and state-of-the-art performance with real-time efficiency. On RE10K, it outperforms DepthSplat by 0.33 dB in PSNR, using only 10.7% of the parameters and 70% of the memory. Additionally, our IDESplat improves PSNR by 2.95 dB over DepthSplat on the DTU dataset in cross-dataset experiments, demonstrating its strong generalization ability.