ConfidentSplat: Confidence-Weighted Depth Fusion for Accurate 3D Gaussian Splatting SLAM

📄 arXiv: 2509.16863v1 📥 PDF

作者: Amanuel T. Dufera, Yuan-Li Cai

分类: cs.CV

发布日期: 2025-09-21

DOI: 10.1109/IEEECONF65522.2025.11137090

💡 一句话要点

ConfidentSplat：置信度加权深度融合的精确3D高斯溅射SLAM

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D高斯溅射 SLAM 深度融合 置信度加权 RGB-D重建

📋 核心要点

  1. 现有RGB-only 3DGS SLAM方法在深度估计方面存在不准确性，导致几何重建质量下降。
  2. ConfidentSplat通过置信度加权融合机制，整合多视图几何信息和单目深度先验，生成高保真代理深度。
  3. 实验结果表明，该方法在重建精度和新视角合成方面优于现有方法，尤其是在复杂场景下。

📝 摘要（中文）

本文提出了一种名为ConfidentSplat的基于3D高斯溅射(3DGS)的新型SLAM系统，用于稳健、高保真度的仅RGB重建。针对现有仅RGB的3DGS SLAM方法中由于不可靠的深度估计而导致的几何不准确问题，ConfidentSplat引入了一项核心创新：一种置信度加权融合机制。该机制自适应地整合来自多视图几何的深度线索和学习到的单目先验（Omnidata ViT），基于显式的可靠性估计（主要来自多视图几何一致性）动态地加权它们的贡献，从而生成用于地图监督的高保真代理深度。由此产生的代理深度指导可变形3DGS地图的优化，该地图有效地在线适应，以在来自DROID-SLAM启发的前端和后端优化（回环检测、全局Bundle Adjustment）的姿态更新后保持全局一致性。在标准基准（TUM-RGBD、ScanNet）和各种自定义移动数据集上的广泛验证表明，与基线相比，重建精度（L1深度误差）和新视角合成保真度（PSNR、SSIM、LPIPS）显着提高，尤其是在具有挑战性的条件下。ConfidentSplat强调了有原则的、置信度感知的传感器融合在推进最先进的密集视觉SLAM方面的有效性。

🔬 方法详解

问题定义：现有仅使用RGB图像的3D高斯溅射SLAM方法，由于缺乏精确的深度信息，导致重建的3D模型几何精度不高。单目深度估计本身存在不确定性，直接影响SLAM系统的性能。因此，如何有效地利用RGB图像进行精确的3D重建是一个关键问题。

核心思路：ConfidentSplat的核心在于利用置信度加权融合机制，将多视图几何信息和单目深度先验进行融合。通过评估每个深度估计的可靠性（置信度），动态地调整它们在深度融合中的权重。置信度高的深度估计贡献更大，从而生成更准确的代理深度，用于指导3D高斯溅射地图的优化。

技术框架：ConfidentSplat系统主要包含以下几个模块：1) DROID-SLAM启发的前端，用于姿态估计；2) Omnidata ViT单目深度估计模块，提供深度先验；3) 置信度加权深度融合模块，融合多视图几何信息和单目深度先验，生成代理深度；4) 可变形3D高斯溅射地图，用于表示场景几何；5) 后端优化模块，包括回环检测和全局Bundle Adjustment，用于优化姿态和地图。

关键创新：ConfidentSplat的关键创新在于置信度加权深度融合机制。与直接使用单目深度估计或简单平均多视图深度估计的方法不同，ConfidentSplat根据深度估计的可靠性动态地调整其权重，从而更有效地利用了多源深度信息。这种方法能够更好地处理深度估计中的不确定性，提高重建精度。

关键设计：置信度估计主要基于多视图几何一致性，例如极线约束误差。深度融合采用加权平均的方式，权重由置信度函数决定。损失函数包括深度损失、几何损失和正则化项，用于优化3D高斯溅射地图的参数。Omnidata ViT采用预训练模型，并通过少量数据进行微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ConfidentSplat在TUM-RGBD和ScanNet等标准数据集上进行了评估，实验结果表明，该方法在重建精度（L1深度误差）和新视角合成质量（PSNR、SSIM、LPIPS）方面均优于现有方法。例如，在TUM-RGBD数据集上，ConfidentSplat的L1深度误差降低了XX%，PSNR提升了YY dB。这些结果表明，ConfidentSplat能够有效地提高三维重建的质量。

🎯 应用场景

ConfidentSplat在机器人导航、增强现实、虚拟现实、三维重建等领域具有广泛的应用前景。该方法可以用于构建高精度的三维地图，为机器人提供更可靠的环境感知能力。同时，该方法也可以用于生成逼真的虚拟场景，提升用户在AR/VR应用中的体验。此外，该方法还可以应用于文物保护、城市建模等领域。

📄 摘要（原文）

We introduce ConfidentSplat, a novel 3D Gaussian Splatting (3DGS)-based SLAM system for robust, highfidelity RGB-only reconstruction. Addressing geometric inaccuracies in existing RGB-only 3DGS SLAM methods that stem from unreliable depth estimation, ConfidentSplat incorporates a core innovation: a confidence-weighted fusion mechanism. This mechanism adaptively integrates depth cues from multiview geometry with learned monocular priors (Omnidata ViT), dynamically weighting their contributions based on explicit reliability estimates-derived predominantly from multi-view geometric consistency-to generate high-fidelity proxy depth for map supervision. The resulting proxy depth guides the optimization of a deformable 3DGS map, which efficiently adapts online to maintain global consistency following pose updates from a DROID-SLAM-inspired frontend and backend optimizations (loop closure, global bundle adjustment). Extensive validation on standard benchmarks (TUM-RGBD, ScanNet) and diverse custom mobile datasets demonstrates significant improvements in reconstruction accuracy (L1 depth error) and novel view synthesis fidelity (PSNR, SSIM, LPIPS) over baselines, particularly in challenging conditions. ConfidentSplat underscores the efficacy of principled, confidence-aware sensor fusion for advancing state-of-the-art dense visual SLAM.