Thermal-LiDAR Fusion for Robust Tunnel Localization in GNSS-Denied and Low-Visibility Conditions

📄 arXiv: 2505.03565v1 📥 PDF

作者: Lukas Schichler, Karin Festl, Selim Solmaz, Daniel Watzenig

分类: cs.RO, eess.SY

发布日期: 2025-05-06

备注: Submitted to IAVVC 2025

💡 一句话要点

提出热成像-激光雷达融合方法，解决隧道等GNSS拒止和低能见度环境下的鲁棒定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 热成像 激光雷达 传感器融合 隧道定位 扩展卡尔曼滤波

📋 核心要点

  1. 现有视觉和激光雷达定位方法在隧道等GNSS拒止和低能见度环境中，因缺乏环境特征而失效。
  2. 提出一种热成像-激光雷达融合框架，利用热成像在低光照下的鲁棒性和激光雷达的深度感知能力，实现精准定位。
  3. 实验结果表明，该方法在模拟隧道环境中，即使在传感器退化和低能见度情况下，也能保持准确的定位。

📝 摘要（中文）

在自主导航领域取得显著进展的同时，确保在隧道、城市灾区和地下结构等危险环境中实现可靠定位仍然存在关键差距。隧道提出了一个独特的困难场景：它们不仅容易发生GNSS信号丢失，而且由于其重复的墙壁和不良的照明，为视觉定位提供的特征很少。这些条件会降低传统的基于视觉和基于激光雷达的系统的性能，这些系统依赖于可区分的环境特征。为了解决这个问题，我们提出了一种新颖的传感器融合框架，该框架集成了热像仪和激光雷达，以实现在隧道和其他感知退化环境中的鲁棒定位。热像仪在低光或烟雾条件下提供弹性，而激光雷达提供精确的深度感知和结构感知。通过结合这些传感器，我们的框架可确保在各种动态环境中实现连续而准确的定位。我们使用扩展卡尔曼滤波器（EKF）来融合多传感器输入，并利用视觉里程计和SLAM（同时定位与建图）技术来处理传感器数据，即使在GNSS拒止环境中也能实现鲁棒的运动估计和建图。这种传感器模式的融合不仅增强了系统的弹性，而且为互联和自动驾驶汽车（CAV）中的网络物理系统提供了可扩展的解决方案。为了验证该框架，我们在隧道环境中进行了测试，模拟了传感器退化和可见性挑战。结果表明，我们的方法可以在标准方法因隧道无特征几何形状而退化的情况下保持准确定位。该框架的多功能性使其成为在受限的、感知较差的环境中运行的自动驾驶汽车、检查机器人和其他网络物理系统的一种有前途的解决方案。

🔬 方法详解

问题定义：论文旨在解决在GNSS拒止和低能见度环境下，例如隧道内部，自主导航系统难以实现鲁棒定位的问题。现有方法，如纯视觉或纯激光雷达定位，在这些环境中由于缺乏足够的环境特征（例如，隧道墙壁的重复性结构和光照不足）而性能显著下降。因此，如何在这些恶劣条件下实现可靠的定位是本研究要解决的核心问题。

核心思路：论文的核心思路是利用热成像相机和激光雷达的互补特性进行传感器融合。热成像相机对光照变化不敏感，即使在低光或烟雾环境中也能提供有效的环境信息。激光雷达则提供精确的深度信息和结构感知。通过将这两种传感器的数据融合，可以克服单一传感器在特定环境下的局限性，从而提高定位的鲁棒性和准确性。

技术框架：该框架采用扩展卡尔曼滤波器（EKF）进行多传感器数据融合。整体流程包括：1) 从热成像相机和激光雷达获取数据；2) 使用视觉里程计和SLAM技术处理传感器数据，进行运动估计和地图构建；3) 将来自不同传感器的估计结果输入EKF进行融合，得到最终的定位结果。该框架旨在实现即使在GNSS拒止环境中也能进行鲁棒的运动估计和地图构建。

关键创新：该论文的关键创新在于将热成像相机与激光雷达融合用于隧道等恶劣环境下的定位。与传统的仅依赖视觉或激光雷达的方法相比，该方法能够利用热成像相机在低光照条件下的优势，以及激光雷达的精确深度信息，从而显著提高定位的鲁棒性。这种多模态融合策略是解决恶劣环境下定位问题的有效途径。

关键设计：论文使用扩展卡尔曼滤波器（EKF）作为融合框架，需要仔细设计状态向量和测量模型。状态向量通常包括位置、姿态和速度等信息。测量模型则描述了如何从传感器数据（例如，热成像特征点和激光雷达点云）中提取测量值，并将其与状态向量关联起来。EKF的性能高度依赖于这些模型的准确性和鲁棒性。此外，视觉里程计和SLAM算法的选择和参数调整也会影响整体系统的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在模拟隧道环境中，即使在传感器退化和低能见度情况下，也能保持准确的定位。相比于传统的基于视觉或激光雷达的定位方法，该融合方法能够显著提高定位的鲁棒性和准确性，尤其是在隧道这种缺乏特征的环境中，体现了其优越性。具体性能数据（例如，定位误差的降低幅度）需要在论文中查找。

🎯 应用场景

该研究成果可广泛应用于自主驾驶车辆、巡检机器人以及其他在受限和感知受限环境中运行的网络物理系统。例如，在矿井、隧道、地下停车场等场景中，可以利用该技术实现车辆或机器人的自主导航和定位。此外，在灾难救援场景中，该技术可以帮助救援人员在烟雾弥漫、光线昏暗的环境中进行搜索和定位，提高救援效率。

📄 摘要（原文）

Despite significant progress in autonomous navigation, a critical gap remains in ensuring reliable localization in hazardous environments such as tunnels, urban disaster zones, and underground structures. Tunnels present a uniquely difficult scenario: they are not only prone to GNSS signal loss, but also provide little features for visual localization due to their repetitive walls and poor lighting. These conditions degrade conventional vision-based and LiDAR-based systems, which rely on distinguishable environmental features. To address this, we propose a novel sensor fusion framework that integrates a thermal camera with a LiDAR to enable robust localization in tunnels and other perceptually degraded environments. The thermal camera provides resilience in low-light or smoke conditions, while the LiDAR delivers precise depth perception and structural awareness. By combining these sensors, our framework ensures continuous and accurate localization across diverse and dynamic environments. We use an Extended Kalman Filter (EKF) to fuse multi-sensor inputs, and leverages visual odometry and SLAM (Simultaneous Localization and Mapping) techniques to process the sensor data, enabling robust motion estimation and mapping even in GNSS-denied environments. This fusion of sensor modalities not only enhances system resilience but also provides a scalable solution for cyber-physical systems in connected and autonomous vehicles (CAVs). To validate the framework, we conduct tests in a tunnel environment, simulating sensor degradation and visibility challenges. The results demonstrate that our method sustains accurate localization where standard approaches deteriorate due to the tunnels featureless geometry. The frameworks versatility makes it a promising solution for autonomous vehicles, inspection robots, and other cyber-physical systems operating in constrained, perceptually poor environments.