LoopSplat: Loop Closure by Registering 3D Gaussian Splats

📄 arXiv: 2408.10154v2 📥 PDF

作者: Liyuan Zhu, Yue Li, Erik Sandström, Shengyu Huang, Konrad Schindler, Iro Armeni

分类: cs.CV, cs.RO

发布日期: 2024-08-19 (更新: 2024-08-20)

备注: Project page: https://loopsplat.github.io/

💡 一句话要点

LoopSplat：通过3D高斯溅射配准实现闭环检测，提升RGB-D SLAM全局一致性。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 闭环检测 RGB-D SLAM 位姿图优化 全局一致性

📋 核心要点

  1. 现有基于3D高斯溅射的SLAM方法缺乏闭环检测和全局Bundle Adjustment，导致场景地图全局一致性不足。
  2. LoopSplat通过3DGS配准直接计算子地图间的相对闭环约束，避免了传统点云配准的低效问题。
  3. 实验结果表明，LoopSplat在多个数据集上实现了优于现有方法的跟踪、建图和渲染性能。

📝 摘要（中文）

本文提出LoopSplat，一种基于3D高斯溅射(3DGS)的RGB-D SLAM方法，旨在解决现有3DGS方法缺乏闭环检测和全局Bundle Adjustment的问题，从而提升场景地图的全局一致性。LoopSplat以RGB-D图像为输入，利用3DGS子地图和帧到模型跟踪进行稠密地图构建。该方法在线触发闭环检测，并通过3DGS配准直接计算子地图之间的相对闭环边缘约束，从而提高效率和精度，优于传统的全局到局部点云配准。LoopSplat采用鲁棒的位姿图优化公式，刚性对齐子地图以实现全局一致性。在合成的Replica和真实世界的TUM-RGBD、ScanNet和ScanNet++数据集上的评估表明，与现有的稠密RGB-D SLAM方法相比，LoopSplat在跟踪、建图和渲染方面具有竞争优势或更优越的性能。

🔬 方法详解

问题定义：现有基于3D高斯溅射(3DGS)的SLAM方法在构建稠密3D场景地图时，通常忽略了全局一致性，缺乏有效的闭环检测和全局Bundle Adjustment机制。这导致在长时间或大规模场景中，地图会产生累积误差和漂移，影响定位精度和地图质量。传统方法依赖全局到局部的点云配准进行闭环检测，计算复杂度高，效率低，难以满足实时性需求。

核心思路：LoopSplat的核心思路是利用3DGS的特性，直接在3DGS表示上进行子地图之间的配准，从而实现高效的闭环检测。通过将场景划分为多个子地图，并在子地图之间建立相对位姿约束，利用位姿图优化实现全局一致性。这种方法避免了传统点云配准的复杂性，提高了闭环检测的效率和精度。

技术框架：LoopSplat的整体框架包括以下几个主要模块：1) 基于RGB-D图像的3DGS子地图构建；2) 帧到模型的跟踪，用于估计相机位姿；3) 在线闭环检测，通过3DGS配准计算子地图之间的相对位姿约束；4) 基于位姿图优化的全局Bundle Adjustment，用于优化所有子地图的位姿，实现全局一致性。

关键创新：LoopSplat的关键创新在于直接在3DGS表示上进行闭环检测和子地图配准。与传统方法相比，它避免了将3DGS转换为点云进行配准的步骤，从而提高了效率和精度。此外，LoopSplat采用了一种鲁棒的位姿图优化公式，能够有效地处理闭环检测中的噪声和异常值。

关键设计：LoopSplat的关键设计包括：1) 使用RGB-D图像作为输入，构建稠密的3DGS子地图；2) 采用帧到模型跟踪，估计相机位姿；3) 利用3DGS配准计算子地图之间的相对位姿约束，作为闭环边缘；4) 使用鲁棒的位姿图优化公式，例如Geman-McClure损失函数，来处理闭环检测中的噪声和异常值；5) 刚性对齐子地图，以实现全局一致性。

📊 实验亮点

LoopSplat在Replica、TUM-RGBD、ScanNet和ScanNet++等数据集上进行了评估，实验结果表明，与现有的稠密RGB-D SLAM方法相比，LoopSplat在跟踪、建图和渲染方面具有竞争优势或更优越的性能。具体而言，LoopSplat在ScanNet数据集上的闭环检测精度和全局地图一致性方面取得了显著提升，相较于其他方法，在相同计算资源下，能构建更大规模且精度更高的地图。

🎯 应用场景

LoopSplat在机器人导航、增强现实、虚拟现实、三维重建等领域具有广泛的应用前景。它可以用于构建高精度、全局一致的3D场景地图，为机器人提供可靠的定位和导航信息。在AR/VR应用中，LoopSplat可以提供更真实的场景体验。此外，该方法还可以用于城市建模、文物保护等领域，实现高精度的三维重建。

📄 摘要（原文）

Simultaneous Localization and Mapping (SLAM) based on 3D Gaussian Splats (3DGS) has recently shown promise towards more accurate, dense 3D scene maps. However, existing 3DGS-based methods fail to address the global consistency of the scene via loop closure and/or global bundle adjustment. To this end, we propose LoopSplat, which takes RGB-D images as input and performs dense mapping with 3DGS submaps and frame-to-model tracking. LoopSplat triggers loop closure online and computes relative loop edge constraints between submaps directly via 3DGS registration, leading to improvements in efficiency and accuracy over traditional global-to-local point cloud registration. It uses a robust pose graph optimization formulation and rigidly aligns the submaps to achieve global consistency. Evaluation on the synthetic Replica and real-world TUM-RGBD, ScanNet, and ScanNet++ datasets demonstrates competitive or superior tracking, mapping, and rendering compared to existing methods for dense RGB-D SLAM. Code is available at loopsplat.github.io.