NGM-SLAM: Gaussian Splatting SLAM with Radiance Field Submap

📄 arXiv: 2405.05702v8 📥 PDF

作者: Jingwei Huang, Mingrui Li, Lei Sun, Aaron Xuxiang Tian, Tianchen Deng, Hongyu Wang

分类: cs.RO

发布日期: 2024-05-09 (更新: 2025-04-24)

备注: 9pages, 4 figures

💡 一句话要点

NGM-SLAM：基于神经辐射场子图的高斯溅射SLAM，解决大场景和回环检测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: SLAM 高斯溅射 神经辐射场 三维重建 回环检测

📋 核心要点

  1. 现有基于高斯溅射的SLAM系统难以处理大型场景，并且缺乏有效的回环检测机制。
  2. NGM-SLAM利用神经辐射场子图进行场景表达，并融合子图进行高斯渲染，实现高质量场景重建和在线回环调整。
  3. 实验结果表明，NGM-SLAM在场景重建和跟踪性能上达到了当前最优水平，并能有效填充场景空洞。

📝 摘要（中文）

本文提出NGM-SLAM，首个基于3D高斯溅射（3DGS）的SLAM系统，它利用神经辐射场子图进行渐进式场景表达，有效结合了神经辐射场和3D高斯溅射的优势。系统使用神经辐射场子图作为监督，通过融合子图的高斯渲染实现高质量的场景表达和在线回环调整。在多个真实场景和大规模场景数据集上的结果表明，该方法能够实现精确的空洞填充和高质量的场景表达，支持单目、双目和RGB-D输入，并实现最先进的场景重建和跟踪性能。

🔬 方法详解

问题定义：现有基于高斯溅射的SLAM系统在大场景下存在表达能力不足的问题，难以进行有效的回环检测，导致定位精度下降和地图质量不高。这些问题限制了其在更大规模和更复杂环境下的应用。

核心思路：NGM-SLAM的核心思路是将场景分解为多个神经辐射场子图，每个子图负责局部场景的表达。通过融合这些子图，并利用高斯渲染进行优化，从而实现对整个场景的高质量重建。同时，神经辐射场子图也为回环检测提供了有效的特征表示。

技术框架：NGM-SLAM系统主要包含以下几个模块：1) 基于高斯溅射的初始场景重建模块；2) 神经辐射场子图构建模块，用于将场景划分为多个子图并学习其神经辐射场表达；3) 子图融合模块，用于将多个子图融合为一个统一的场景表示；4) 基于高斯渲染的优化模块，用于优化场景几何和外观；5) 回环检测模块，利用神经辐射场子图进行回环检测和位姿校正。

关键创新：NGM-SLAM的关键创新在于将神经辐射场子图与高斯溅射相结合，利用神经辐射场的表达能力和高斯溅射的渲染效率，实现了对大规模场景的高质量重建和实时渲染。同时，利用神经辐射场子图进行回环检测，提高了SLAM系统的鲁棒性和精度。

关键设计：在子图构建方面，论文采用了基于关键帧的子图划分策略。在子图融合方面，论文设计了一种基于高斯混合模型的融合方法，以保证融合后的场景表示的平滑性和一致性。在优化方面，论文采用了基于高斯渲染的损失函数，以优化场景的几何和外观。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NGM-SLAM在多个真实场景和大规模场景数据集上进行了评估，结果表明其在场景重建和跟踪性能上达到了当前最优水平。例如，在EuRoC数据集上，NGM-SLAM的跟踪精度优于其他基于高斯溅射的SLAM系统。此外，NGM-SLAM还能够有效地填充场景空洞，提高场景重建的完整性。

🎯 应用场景

NGM-SLAM具有广泛的应用前景，包括增强现实、虚拟现实、机器人导航、三维地图重建等领域。它可以用于构建高精度、高保真的三维场景模型，为用户提供沉浸式的体验。此外，它还可以应用于机器人自主导航，帮助机器人在复杂环境中进行定位和路径规划。未来，NGM-SLAM有望成为构建数字孪生城市和智能工厂的关键技术。

📄 摘要（原文）

SLAM systems based on Gaussian Splatting have garnered attention due to their capabilities for rapid real-time rendering and high-fidelity mapping. However, current Gaussian Splatting SLAM systems usually struggle with large scene representation and lack effective loop closure detection. To address these issues, we introduce NGM-SLAM, the first 3DGS based SLAM system that utilizes neural radiance field submaps for progressive scene expression, effectively integrating the strengths of neural radiance fields and 3D Gaussian Splatting. We utilize neural radiance field submaps as supervision and achieve high-quality scene expression and online loop closure adjustments through Gaussian rendering of fused submaps. Our results on multiple real-world scenes and large-scale scene datasets demonstrate that our method can achieve accurate hole filling and high-quality scene expression, supporting monocular, stereo, and RGB-D inputs, and achieving state-of-the-art scene reconstruction and tracking performance.