Robust Gaussian Splatting SLAM by Leveraging Loop Closure

📄 arXiv: 2409.20111v1 📥 PDF

作者: Zunjie Zhu, Youxu Fang, Xin Li, Chengang Yan, Feng Xu, Chau Yuen, Yanyan Li

分类: cs.RO

发布日期: 2024-09-30

💡 一句话要点

提出基于高斯溅射和闭环检测的SLAM系统，解决旋转RGB-D相机下的漂移问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 SLAM 闭环检测 RGB-D相机 姿态图优化

📋 核心要点

  1. 现有高斯溅射SLAM方法主要为手持RGB或RGB-D传感器设计，难以应对旋转RGB-D相机带来的跟踪漂移。
  2. 通过高斯溅射闭环模块，同时考虑共视关系和渲染结果，有效解决了传统SLAM系统中的累积误差问题。
  3. 在合成和真实数据集上，该方法在相机姿态估计和新视角渲染方面均优于现有技术水平。

📝 摘要（中文）

本文提出了一种鲁棒的高斯溅射SLAM架构，利用旋转多RGB-D相机的输入，实现精确定位和逼真的渲染性能。精心设计的高斯溅射闭环模块有效地解决了传统高斯溅射SLAM系统中累积的跟踪和建图误差问题。首先，每个高斯体都与一个锚定帧相关联，并根据其时间戳分为历史高斯体或新高斯体。通过在同一视点渲染不同类型的高斯体，所提出的闭环检测策略同时考虑了共视关系和不同的渲染结果。此外，提出了一种闭环优化方法，以消除相机姿态漂移并保持3D高斯模型的高质量。该方法使用轻量级的姿态图优化算法来校正姿态漂移，并根据优化的姿态更新高斯体。此外，束调整方案使用光度和几何约束进一步细化相机姿态，最终提高场景的全局一致性。在合成和真实世界数据集上的定量和定性评估表明，我们的方法在相机姿态估计和新视角渲染任务中优于最先进的方法。代码将开源。

🔬 方法详解

问题定义：论文旨在解决在使用旋转RGB-D相机时，现有高斯溅射SLAM系统存在的跟踪漂移和建图误差累积问题。传统方法难以有效处理旋转相机带来的视角变化和运动模糊，导致SLAM系统的精度和鲁棒性下降。

核心思路：论文的核心思路是引入闭环检测机制，利用高斯溅射的渲染特性，同时考虑场景的共视关系和渲染结果的差异性，从而更准确地检测到闭环，并进行全局优化，消除累积误差。

技术框架：该方法主要包含以下几个模块：1) 高斯体表示：使用3D高斯体表示场景；2) 闭环检测：通过渲染不同类型的高斯体（历史和新高斯体）进行闭环检测；3) 姿态图优化：使用轻量级的姿态图优化算法校正相机姿态漂移；4) 高斯体更新：根据优化后的相机姿态更新高斯体；5) 束调整：使用光度和几何约束进一步优化相机姿态和高斯体参数。

关键创新：该方法的关键创新在于闭环检测策略，它不仅考虑了场景的共视关系，还利用了高斯溅射的渲染特性，通过比较不同类型高斯体的渲染结果来提高闭环检测的准确性。此外，使用轻量级的姿态图优化算法和束调整方案，保证了全局一致性和渲染质量。

关键设计：每个高斯体都与一个锚定帧相关联，并根据时间戳分为历史高斯体和新高斯体。闭环检测时，在同一视点渲染这两种类型的高斯体，并比较渲染结果的差异。姿态图优化使用轻量级的优化算法，以减少计算负担。束调整方案同时考虑光度和几何约束，以提高优化精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在合成和真实数据集上进行了评估，结果表明，该方法在相机姿态估计和新视角渲染方面均优于现有技术水平。具体性能数据未知，但摘要强调了优于state-of-the-art方法。

🎯 应用场景

该研究成果可应用于机器人导航、增强现实、虚拟现实、三维重建等领域。尤其是在需要使用旋转相机或多相机系统进行场景建模和定位的应用中，例如无人机巡检、室内机器人导航、以及大型场景的三维重建等，具有重要的实际价值和应用前景。

📄 摘要（原文）

3D Gaussian Splatting algorithms excel in novel view rendering applications and have been adapted to extend the capabilities of traditional SLAM systems. However, current Gaussian Splatting SLAM methods, designed mainly for hand-held RGB or RGB-D sensors, struggle with tracking drifts when used with rotating RGB-D camera setups. In this paper, we propose a robust Gaussian Splatting SLAM architecture that utilizes inputs from rotating multiple RGB-D cameras to achieve accurate localization and photorealistic rendering performance. The carefully designed Gaussian Splatting Loop Closure module effectively addresses the issue of accumulated tracking and mapping errors found in conventional Gaussian Splatting SLAM systems. First, each Gaussian is associated with an anchor frame and categorized as historical or novel based on its timestamp. By rendering different types of Gaussians at the same viewpoint, the proposed loop detection strategy considers both co-visibility relationships and distinct rendering outcomes. Furthermore, a loop closure optimization approach is proposed to remove camera pose drift and maintain the high quality of 3D Gaussian models. The approach uses a lightweight pose graph optimization algorithm to correct pose drift and updates Gaussians based on the optimized poses. Additionally, a bundle adjustment scheme further refines camera poses using photometric and geometric constraints, ultimately enhancing the global consistency of scenarios. Quantitative and qualitative evaluations on both synthetic and real-world datasets demonstrate that our method outperforms state-of-the-art methods in camera pose estimation and novel view rendering tasks. The code will be open-sourced for the community.