AirSLAM: An Efficient and Illumination-Robust Point-Line Visual SLAM System

📄 arXiv: 2408.03520v4 📥 PDF

作者: Kuan Xu, Yuefan Hao, Shenghai Yuan, Chen Wang, Lihua Xie

分类: cs.RO

发布日期: 2024-08-07 (更新: 2025-02-27)

备注: 20 pages, 15 figures, 9 tables

DOI: 10.1109/TRO.2025.3539171

🔗 代码/项目: GITHUB

💡 一句话要点

AirSLAM：一种高效且光照鲁棒的点线视觉SLAM系统

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉SLAM 光照鲁棒性 深度学习 点线特征 重定位 机器人导航 特征提取

📋 核心要点

  1. 现有视觉SLAM系统在光照变化剧烈的环境中表现不佳，鲁棒性不足，难以满足实际应用需求。
  2. AirSLAM提出了一种混合方法，利用深度学习提取点线特征，并结合传统后端优化，实现光照鲁棒的SLAM。
  3. 实验结果表明，AirSLAM在光照挑战环境中优于其他SOTA系统，并在PC和嵌入式平台上实现了较高的运行帧率。

📝 摘要（中文）

本文提出了一种高效的视觉SLAM系统，旨在解决短期和长期的光照变化挑战。该系统采用混合方法，结合了深度学习技术进行特征检测和匹配，以及传统的后端优化方法。具体而言，我们提出了一个统一的卷积神经网络（CNN），可以同时提取关键点和结构线。这些特征以耦合的方式进行关联、匹配、三角化和优化。此外，我们还引入了一个轻量级的重定位流程，该流程重用已构建的地图，其中关键点、线和结构图用于将查询帧与地图进行匹配。为了增强所提出的系统在现实世界机器人中的适用性，我们使用C++和NVIDIA TensorRT部署并加速了特征检测和匹配网络。在各种数据集上进行的大量实验表明，我们的系统在光照挑战环境中优于其他最先进的视觉SLAM系统。效率评估表明，我们的系统可以在PC上以73Hz的速率运行，在嵌入式平台上以40Hz的速率运行。我们的实现已开源：https://github.com/sair-lab/AirSLAM。

🔬 方法详解

问题定义：现有的视觉SLAM系统在光照变化剧烈的环境中，特征提取和匹配容易受到干扰，导致定位精度下降甚至失败。尤其是在长期运行过程中，光照变化累积效应更加明显，使得SLAM系统的鲁棒性成为一个关键问题。传统方法难以有效应对复杂的光照变化，需要更有效的特征提取和匹配策略。

核心思路：AirSLAM的核心思路是结合深度学习的特征提取能力和传统SLAM的几何优化方法，构建一个光照鲁棒的视觉SLAM系统。通过深度学习网络同时提取点和线特征，并利用这些特征进行地图构建和定位，从而提高系统在光照变化环境下的鲁棒性。同时，采用轻量级的重定位流程，提高系统在长时间运行后的重定位能力。

技术框架：AirSLAM系统主要包括以下几个模块：1) 基于深度学习的点线特征提取模块：使用统一的CNN网络同时提取图像中的关键点和结构线。2) 特征关联、匹配和三角化模块：将提取的点线特征进行关联和匹配，并进行三角化，得到3D点和线。3) 后端优化模块：使用传统的后端优化方法，对地图进行优化，提高地图的精度。4) 重定位模块：使用轻量级的重定位流程，将查询帧与地图进行匹配，实现重定位。

关键创新：AirSLAM的关键创新在于：1) 提出了一个统一的CNN网络，可以同时提取关键点和结构线，避免了分别提取带来的冗余计算。2) 提出了一种耦合的点线特征处理方法，将点和线特征进行关联、匹配、三角化和优化，提高了特征的利用率。3) 引入了一个轻量级的重定位流程，提高了系统在长时间运行后的重定位能力。

关键设计：在特征提取网络的设计上，采用了统一的CNN结构，同时输出点和线特征。在损失函数的设计上，综合考虑了点和线的特征描述子损失、几何约束损失等。在重定位模块的设计上，采用了基于结构图的匹配方法，提高了匹配的效率和准确性。具体参数设置和网络结构细节未在摘要中详细说明，需要参考论文全文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AirSLAM在光照挑战环境中优于其他state-of-the-art的视觉SLAM系统。效率评估显示，该系统在PC上可以达到73Hz的运行速率，在嵌入式平台上也能达到40Hz，表明其具有较高的实时性。开源代码的发布也为其他研究者提供了便利。

🎯 应用场景

AirSLAM具有广泛的应用前景，例如在光照条件复杂的室内外环境中运行的机器人导航、无人机自主飞行、增强现实等领域。该系统能够提高机器人在光照变化环境下的定位精度和鲁棒性，从而实现更可靠的自主导航和交互。未来，该技术有望应用于智能家居、自动驾驶等领域。

📄 摘要（原文）

In this paper, we present an efficient visual SLAM system designed to tackle both short-term and long-term illumination challenges. Our system adopts a hybrid approach that combines deep learning techniques for feature detection and matching with traditional backend optimization methods. Specifically, we propose a unified convolutional neural network (CNN) that simultaneously extracts keypoints and structural lines. These features are then associated, matched, triangulated, and optimized in a coupled manner. Additionally, we introduce a lightweight relocalization pipeline that reuses the built map, where keypoints, lines, and a structure graph are used to match the query frame with the map. To enhance the applicability of the proposed system to real-world robots, we deploy and accelerate the feature detection and matching networks using C++ and NVIDIA TensorRT. Extensive experiments conducted on various datasets demonstrate that our system outperforms other state-of-the-art visual SLAM systems in illumination-challenging environments. Efficiency evaluations show that our system can run at a rate of 73Hz on a PC and 40Hz on an embedded platform. Our implementation is open-sourced: https://github.com/sair-lab/AirSLAM.