UDGS-SLAM : UniDepth Assisted Gaussian Splatting for Monocular SLAM

📄 arXiv: 2409.00362v2 📥 PDF

作者: Mostafa Mansour, Ahmed Abdelsalam, Ari Happonen, Jari Porras, Esa Rahtu

分类: cs.CV, cs.RO

发布日期: 2024-08-31 (更新: 2025-05-02)

DOI: 10.1016/j.array.2025.100400

💡 一句话要点

UDGS-SLAM：利用UniDepth辅助高斯溅射的单目SLAM

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目SLAM 高斯溅射 深度估计 UniDepth 统计滤波

📋 核心要点

  1. 传统高斯溅射SLAM依赖RGB-D传感器获取深度信息，限制了其在缺乏深度传感器的环境中的应用。
  2. UDGS-SLAM利用UniDepth网络进行单目深度估计，并结合统计滤波保证深度一致性，实现无需深度传感器的SLAM。
  3. 实验表明，UDGS-SLAM在TUM RGB-D数据集上取得了优异的渲染质量和相机轨迹精度，优于现有方法。

📝 摘要（中文）

本研究提出UDGS-SLAM，一种新颖的单目SLAM方法，它将UniDepth网络生成的单目神经深度估计集成到高斯溅射框架中，从而无需RGB-D传感器进行深度估计。UDGS-SLAM采用统计滤波来确保估计深度的局部一致性，并联合优化相机轨迹和高斯场景表示参数。该方法实现了高保真度的渲染图像和较低的相机轨迹ATERMSE。在TUM RGB-D数据集上对UDGS-SLAM进行了严格评估，并与多个基线方法进行了比较，结果表明该方法在各种场景中均表现出卓越的性能。此外，还进行了消融研究，以验证设计选择并研究不同网络骨干编码器对系统性能的影响。

🔬 方法详解

问题定义：现有的基于高斯溅射的SLAM系统通常依赖于RGB-D传感器来获取场景的深度信息。然而，在许多实际应用场景中，RGB-D传感器可能不可用或不适用。因此，如何仅使用单目图像来实现高精度、高保真度的SLAM是一个重要的挑战。现有单目SLAM方法在深度估计的准确性和鲁棒性方面仍存在不足，影响了整体的SLAM性能。

核心思路：UDGS-SLAM的核心思路是利用单目深度估计网络（UniDepth）来预测场景的深度信息，从而替代RGB-D传感器。为了提高深度估计的准确性和一致性，该方法采用统计滤波来优化深度图，确保局部深度的一致性。此外，UDGS-SLAM通过联合优化相机轨迹和高斯场景表示参数，进一步提升了SLAM系统的整体性能。这样设计的目的是为了在没有深度传感器的情况下，也能实现高精度和鲁棒的SLAM。

技术框架：UDGS-SLAM的整体框架包括以下几个主要模块：1) 单目深度估计：使用UniDepth网络从单目图像中预测深度图。2) 深度滤波：采用统计滤波方法对深度图进行优化，保证局部一致性。3) 高斯溅射：使用高斯溅射表示场景，并根据深度信息初始化高斯参数。4) 联合优化：联合优化相机轨迹和高斯场景表示参数，最小化重投影误差和深度误差。整个流程通过迭代优化，不断提升SLAM系统的精度和鲁棒性。

关键创新：UDGS-SLAM的关键创新在于将单目深度估计与高斯溅射框架相结合，实现了无需RGB-D传感器的单目SLAM。与传统的单目SLAM方法相比，UDGS-SLAM利用了深度学习的强大能力，能够更准确地估计场景的深度信息。此外，统计滤波的使用进一步提高了深度估计的鲁棒性。与直接使用深度学习进行SLAM的方法相比，高斯溅射提供了更高效和灵活的场景表示。

关键设计：UDGS-SLAM的关键设计包括：1) UniDepth网络的选取：选择UniDepth作为深度估计网络，因为它在单目深度估计方面表现出色。2) 统计滤波的参数设置：统计滤波的参数需要根据具体场景进行调整，以平衡深度估计的准确性和鲁棒性。3) 损失函数的设计：损失函数包括重投影误差和深度误差，用于联合优化相机轨迹和高斯场景表示参数。4) 优化算法的选择：选择合适的优化算法（例如，Levenberg-Marquardt算法）来最小化损失函数。

📊 实验亮点

UDGS-SLAM在TUM RGB-D数据集上进行了评估，并与多个基线方法进行了比较。实验结果表明，UDGS-SLAM在渲染质量和相机轨迹精度方面均优于现有方法。具体而言，UDGS-SLAM实现了高保真度的渲染图像，并且相机轨迹的ATERMSE（绝对轨迹误差均方根）显著降低。消融研究验证了设计选择的有效性，并表明不同网络骨干编码器对系统性能有显著影响。

🎯 应用场景

UDGS-SLAM在机器人导航、增强现实、虚拟现实等领域具有广泛的应用前景。该方法无需深度传感器，降低了硬件成本，使其更适用于资源受限的场景。例如，可以应用于移动机器人、无人机等设备，实现自主导航和环境感知。此外，UDGS-SLAM还可以用于AR/VR应用中，提供更真实、更沉浸式的用户体验。未来，该方法有望进一步扩展到更大规模、更复杂的场景中。

📄 摘要（原文）

Recent advancements in monocular neural depth estimation, particularly those achieved by the UniDepth network, have prompted the investigation of integrating UniDepth within a Gaussian splatting framework for monocular SLAM. This study presents UDGS-SLAM, a novel approach that eliminates the necessity of RGB-D sensors for depth estimation within Gaussian splatting framework. UDGS-SLAM employs statistical filtering to ensure local consistency of the estimated depth and jointly optimizes camera trajectory and Gaussian scene representation parameters. The proposed method achieves high-fidelity rendered images and low ATERMSE of the camera trajectory. The performance of UDGS-SLAM is rigorously evaluated using the TUM RGB-D dataset and benchmarked against several baseline methods, demonstrating superior performance across various scenarios. Additionally, an ablation study is conducted to validate design choices and investigate the impact of different network backbone encoders on system performance.