MotionGS : Compact Gaussian Splatting SLAM by Motion Filter

📄 arXiv: 2405.11129v2 📥 PDF

作者: Xinli Guo, Weidong Zhang, Ruonan Liu, Peng Han, Hongtian Chen

分类: cs.CV

发布日期: 2024-05-18 (更新: 2024-05-31)

💡 一句话要点

MotionGS：基于运动滤波的紧凑型高斯溅射SLAM

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: SLAM 3D高斯溅射 运动滤波 深度视觉特征 关键帧选择

📋 核心要点

  1. 现有SLAM方法在场景高保真表示方面存在不足，NeRF和3DGS虽然有潜力，但3DGS-based SLAM研究较少。
  2. 本文提出一种融合深度视觉特征和运动滤波的3DGS SLAM，通过联合优化和双重关键帧选择实现精确跟踪和紧凑场景表示。
  3. 实验结果表明，该方法在跟踪和建图性能上超越现有方法，同时显著降低了内存占用。

📝 摘要（中文）

本文提出了一种基于3D高斯溅射(3DGS)的新型SLAM方法，该方法融合了深度视觉特征、双重关键帧选择和3DGS。与现有方法相比，本文提出的跟踪方法通过在每一帧上进行特征提取和运动滤波来实现。姿态和3D高斯体的联合优化贯穿整个建图过程。此外，通过双重关键帧选择和新的损失函数，实现了由粗到精的姿态估计和紧凑的高斯场景表示。实验结果表明，该算法不仅在跟踪和建图方面优于现有方法，而且内存占用更少。

🔬 方法详解

问题定义：现有SLAM方法在高保真场景重建和紧凑表示之间难以平衡，尤其是在3DGS SLAM领域，研究相对稀疏。现有方法在跟踪精度、建图效率和内存占用方面存在挑战。

核心思路：本文的核心思路是利用运动滤波来提高跟踪的鲁棒性，并结合双重关键帧选择和新的损失函数来实现紧凑且精确的3D高斯场景表示。通过联合优化姿态和3D高斯体，实现全局一致的建图。

技术框架：该SLAM系统主要包含以下几个阶段：1) 特征提取和运动滤波：对每一帧图像提取深度视觉特征，并使用运动滤波来估计相机姿态。2) 双重关键帧选择：选择关键帧，用于后续的姿态优化和场景重建。3) 3D高斯溅射优化：联合优化相机姿态和3D高斯参数，以最小化重建误差。

关键创新：该方法的主要创新点在于：1) 融合运动滤波的跟踪方法，提高了跟踪的鲁棒性。2) 提出双重关键帧选择策略，在保证精度的同时，减少了计算量和内存占用。3) 设计了新的损失函数，用于优化3D高斯参数，实现紧凑的场景表示。

关键设计：运动滤波的具体实现方式未知，但推测可能使用了卡尔曼滤波或粒子滤波等方法。双重关键帧选择的具体策略未知，但可能包括基于视点变化和重建误差的关键帧选择。损失函数的设计可能包括重建误差、正则化项等，以保证重建质量和场景的紧凑性。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该算法在跟踪和建图方面优于现有方法，同时显著降低了内存占用。具体的性能提升数据和对比基线在摘要中未明确给出，但强调了在跟踪精度、建图效率和内存占用方面的综合优势。具体的量化指标未知。

🎯 应用场景

该研究成果可应用于机器人导航、增强现实、虚拟现实等领域。高精度的SLAM系统能够帮助机器人在复杂环境中进行自主导航，为AR/VR应用提供更逼真的场景体验。紧凑的场景表示可以降低存储和传输成本，使其更易于部署在移动设备上，具有广泛的应用前景。

📄 摘要（原文）

With their high-fidelity scene representation capability, the attention of SLAM field is deeply attracted by the Neural Radiation Field (NeRF) and 3D Gaussian Splatting (3DGS). Recently, there has been a surge in NeRF-based SLAM, while 3DGS-based SLAM is sparse. A novel 3DGS-based SLAM approach with a fusion of deep visual feature, dual keyframe selection and 3DGS is presented in this paper. Compared with the existing methods, the proposed tracking is achieved by feature extraction and motion filter on each frame. The joint optimization of poses and 3D Gaussians runs through the entire mapping process. Additionally, the coarse-to-fine pose estimation and compact Gaussian scene representation are implemented by dual keyframe selection and novel loss functions. Experimental results demonstrate that the proposed algorithm not only outperforms the existing methods in tracking and mapping, but also has less memory usage.