NGD-SLAM: Towards Real-Time Dynamic SLAM without GPU

📄 arXiv: 2405.07392v3 📥 PDF

作者: Yuhao Zhang, Mihai Bujanca, Mikel Luján

分类: cs.RO, cs.CV

发布日期: 2024-05-12 (更新: 2025-06-16)

备注: 7 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出NGD-SLAM以解决动态环境下实时SLAM的GPU依赖问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态SLAM 深度学习 实时处理 计算机视觉 机器人技术

📋 核心要点

  1. 现有的动态SLAM方法依赖深度学习进行动态物体掩蔽，导致计算开销大且需要GPU支持，限制了实际应用。
  2. 本文提出了一种基于CPU的实时动态SLAM系统，通过掩模传播机制解耦相机跟踪和掩模生成，提高了效率。
  3. 实验结果表明，该系统在动态环境中实现了60 FPS的跟踪帧率，同时保持高定位精度，展示了其实际应用潜力。

📝 摘要（中文）

许多现有的视觉SLAM方法通过深度学习来掩蔽动态物体，从而在动态环境中实现高定位精度。然而，这些方法在每帧都需要等待深度神经网络生成掩模，导致显著的计算开销，并且通常需要GPU进行实时操作，限制了其在实际机器人应用中的可行性。因此，本文提出了一种仅在CPU上运行的实时动态SLAM系统。我们的方法引入了掩模传播机制，解耦了每帧的相机跟踪和基于深度学习的掩模生成。同时，我们还提出了一种混合跟踪策略，将ORB特征与光流方法结合，增强了鲁棒性和效率，通过选择性分配计算资源来处理输入帧。与之前的方法相比，我们的系统在动态环境中保持了高定位精度，并在笔记本CPU上实现了60 FPS的跟踪帧率。这些结果展示了在没有GPU支持的情况下利用深度学习进行动态SLAM的可行性。

🔬 方法详解

问题定义：本文旨在解决现有动态SLAM方法在动态环境中高计算开销和GPU依赖的问题。现有方法需要在每帧等待深度学习模型生成掩模，导致实时性不足。

核心思路：论文提出了一种新的动态SLAM系统，采用掩模传播机制，使相机跟踪与深度学习掩模生成解耦，从而提高了处理效率。

技术框架：该系统主要包括相机跟踪模块、掩模生成模块和混合跟踪策略。相机跟踪模块负责实时定位，掩模生成模块则通过掩模传播机制生成动态物体的掩模。混合跟踪策略结合了ORB特征和光流方法，以提高鲁棒性和效率。

关键创新：最重要的创新点在于掩模传播机制的引入，使得相机跟踪和掩模生成可以并行进行，从而减少了计算延迟。这一设计使得系统能够在没有GPU的情况下实现实时性能。

关键设计：在参数设置上，系统通过选择性分配计算资源来处理输入帧，优化了ORB特征和光流方法的结合，确保了高效的计算和准确的动态物体识别。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，NGD-SLAM在动态环境中实现了60 FPS的跟踪帧率，同时保持高定位精度，显著优于现有依赖GPU的动态SLAM方法。这一成果证明了在没有GPU支持的情况下，深度学习在动态SLAM中的有效应用。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、增强现实和智能监控等场景。在这些领域，实时动态SLAM能够有效处理复杂环境中的动态物体，提高系统的智能化水平和适应能力。未来，该技术有望推动更多基于视觉的智能应用的发展。

📄 摘要（原文）

Many existing visual SLAM methods can achieve high localization accuracy in dynamic environments by leveraging deep learning to mask moving objects. However, these methods incur significant computational overhead as the camera tracking needs to wait for the deep neural network to generate mask at each frame, and they typically require GPUs for real-time operation, which restricts their practicality in real-world robotic applications. Therefore, this paper proposes a real-time dynamic SLAM system that runs exclusively on a CPU. Our approach incorporates a mask propagation mechanism that decouples camera tracking and deep learning-based masking for each frame. We also introduce a hybrid tracking strategy that integrates ORB features with optical flow methods, enhancing both robustness and efficiency by selectively allocating computational resources to input frames. Compared to previous methods, our system maintains high localization accuracy in dynamic environments while achieving a tracking frame rate of 60 FPS on a laptop CPU. These results demonstrate the feasibility of utilizing deep learning for dynamic SLAM without GPU support. Since most existing dynamic SLAM systems are not open-source, we make our code publicly available at: https://github.com/yuhaozhang7/NGD-SLAM