SLAM in the Dark: Self-Supervised Learning of Pose, Depth and Loop-Closure from Thermal Images

📄 arXiv: 2502.18932v1 📥 PDF

作者: Yangfan Xu, Qu Hao, Lilian Zhang, Jun Mao, Xiaofeng He, Wenqi Wu, Changhao Chen

分类: cs.RO, cs.AI

发布日期: 2025-02-26

💡 一句话要点

DarkSLAM：一种自监督学习的单目热成像SLAM系统，用于弱光环境下的位姿、深度和回环检测。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 热成像SLAM 自监督学习 深度估计 视觉里程计 回环检测 注意力机制 弱光环境 机器人导航

📋 核心要点

  1. 传统视觉SLAM在弱光环境下失效，而热成像SLAM受限于热成像的低对比度、高噪声和缺乏大规模标注数据。
  2. DarkSLAM通过引入ECA和SKA注意力机制，分别提升视觉里程计的位姿精度和深度估计的准确性，从而解决上述问题。
  3. 户外实验表明，DarkSLAM在夜间等复杂光照条件下，显著优于现有方法，实现了更精确的定位和3D密集地图构建。

📝 摘要（中文）

视觉SLAM对于移动机器人、无人机导航和VR/AR至关重要，但传统RGB相机系统在弱光条件下表现不佳，这推动了对热成像SLAM的研究，因为热成像在这些环境中表现出色。然而，热成像面临着低对比度、高噪声和有限的大规模标注数据集等挑战，限制了深度学习在户外场景中的应用。我们提出了DarkSLAM，一种新颖的基于深度学习的单目热成像SLAM系统，专为复杂光照条件下的的大规模定位和重建而设计。我们的方法在视觉里程计中加入了高效通道注意力（ECA）机制，在深度估计中加入了选择性核注意力（SKA）机制，以提高位姿精度并减轻热深度退化。此外，该系统还包括基于热深度的回环检测和位姿优化，确保在低纹理热成像场景中的鲁棒性能。广泛的户外实验表明，DarkSLAM明显优于现有的方法，如SC-Sfm-Learner和Shin et al.，即使在具有挑战性的夜间环境中也能提供精确定位和3D密集地图。

🔬 方法详解

问题定义：论文旨在解决在弱光或无光环境下，传统视觉SLAM系统由于RGB图像质量下降而失效的问题。现有基于热成像的SLAM方法，由于热成像图像本身对比度低、噪声大，且缺乏大规模标注数据集，导致深度学习方法难以有效应用，限制了其在户外大规模场景下的性能。

核心思路：DarkSLAM的核心思路是利用自监督学习的方式，从无标注的热成像视频序列中学习位姿、深度信息，并结合注意力机制来增强特征表达，从而提高SLAM系统的鲁棒性和精度。通过引入ECA和SKA机制，分别关注通道和空间上的重要特征，抑制噪声的影响，提升在低纹理区域的性能。

技术框架：DarkSLAM系统主要包含以下几个模块：1) 基于深度学习的视觉里程计（VO），用于估计相机的位姿变化；2) 基于深度学习的深度估计模块，用于预测场景的深度图；3) 基于热深度的回环检测模块，用于检测已访问过的场景，消除累积误差；4) 位姿优化模块，用于全局优化相机轨迹和地图。VO和深度估计模块都采用自监督学习的方式进行训练，无需人工标注数据。

关键创新：DarkSLAM的关键创新在于：1) 将ECA机制引入视觉里程计，增强了特征通道的重要性，提高了位姿估计的精度；2) 将SKA机制引入深度估计模块，自适应地选择不同感受野的卷积核，从而更好地处理热成像图像中的尺度变化；3) 提出了一种基于热深度的回环检测方法，利用深度信息来提高回环检测的准确性。

关键设计：在视觉里程计中，ECA模块被添加到特征提取网络的中间层，用于自适应地学习每个通道的权重。在深度估计模块中，SKA模块被用于融合不同尺度的特征图，从而提高深度预测的准确性。损失函数包括光度一致性损失、深度平滑损失和位姿正则化损失。网络结构采用Encoder-Decoder架构，Encoder用于提取图像特征，Decoder用于预测深度图和位姿。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DarkSLAM在户外夜间场景的实验中，显著优于现有的SC-Sfm-Learner和Shin et al.等方法。实验结果表明，DarkSLAM能够实现更精确的定位和3D密集地图构建，尤其是在低纹理和光照条件恶劣的环境中。具体性能提升数据（例如，定位误差降低百分比、地图精度提升百分比）需要在论文中查找。

🎯 应用场景

DarkSLAM在许多领域具有广泛的应用前景，例如：夜间安防监控、搜救行动、自动驾驶、无人机巡检、以及在光线不足的工业环境中进行机器人导航和地图构建。该研究成果有助于提升机器人在复杂光照条件下的自主导航能力，具有重要的实际应用价值和潜在的商业价值。

📄 摘要（原文）

Visual SLAM is essential for mobile robots, drone navigation, and VR/AR, but traditional RGB camera systems struggle in low-light conditions, driving interest in thermal SLAM, which excels in such environments. However, thermal imaging faces challenges like low contrast, high noise, and limited large-scale annotated datasets, restricting the use of deep learning in outdoor scenarios. We present DarkSLAM, a noval deep learning-based monocular thermal SLAM system designed for large-scale localization and reconstruction in complex lighting conditions.Our approach incorporates the Efficient Channel Attention (ECA) mechanism in visual odometry and the Selective Kernel Attention (SKA) mechanism in depth estimation to enhance pose accuracy and mitigate thermal depth degradation. Additionally, the system includes thermal depth-based loop closure detection and pose optimization, ensuring robust performance in low-texture thermal scenes. Extensive outdoor experiments demonstrate that DarkSLAM significantly outperforms existing methods like SC-Sfm-Learner and Shin et al., delivering precise localization and 3D dense mapping even in challenging nighttime environments.