LIR-LIVO: A Lightweight,Robust LiDAR/Vision/Inertial Odometry with Illumination-Resilient Deep Features

📄 arXiv: 2502.08676v1 📥 PDF

作者: Shujie Zhou, Zihao Wang, Xinye Dai, Weiwei Song, Shengfeng Gu

分类: cs.RO, cs.CV, eess.SP, eess.SY

发布日期: 2025-02-12

💡 一句话要点

LIR-LIVO：一种轻量级、鲁棒的激光/视觉/惯性里程计，具备光照不变深度特征

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 激光雷达里程计 视觉里程计 惯性导航 深度学习 光照不变特征 多传感器融合 位姿估计 机器人导航

📋 核心要点

  1. 现有视觉里程计在光照变化剧烈和环境退化的情况下表现不佳，鲁棒性不足。
  2. LIR-LIVO通过深度学习提取光照不变特征，并结合激光雷达深度信息，实现更精确的特征匹配。
  3. 实验结果表明，LIR-LIVO在多个数据集上优于现有方法，尤其在光照条件差的环境下表现出色。

📝 摘要（中文）

本文提出了一种轻量级且鲁棒的激光-惯性-视觉里程计系统LIR-LIVO，专为具有挑战性的光照条件和退化环境而设计。该方法利用基于深度学习的光照不变特征和激光-惯性-视觉里程计(LIVO)。通过结合先进的技术，例如通过与激光雷达点云的深度关联实现的特征均匀深度分布，以及利用Superpoint和LightGlue的自适应特征匹配，LIR-LIVO以低计算成本实现了最先进(SOTA)的精度和鲁棒性。在包括NTU-VIRAL、Hilti'22和R3LIVE-Dataset在内的基准数据集上进行了实验。相应的结果表明，我们提出的方法在标准和具有挑战性的数据集上都优于其他SOTA方法。特别地，该方法在Hilti'22数据集中展示了在不良环境光照条件下的鲁棒位姿估计。这项工作的代码已在GitHub上公开，以促进机器人社区的进步。

🔬 方法详解

问题定义：现有视觉里程计在光照变化剧烈和环境退化的情况下，特征提取和匹配容易受到干扰，导致位姿估计精度下降甚至失效。激光雷达里程计虽然不受光照影响，但在特征稀疏或缺乏纹理的场景中性能也会降低。因此，如何在复杂环境下实现鲁棒且精确的位姿估计是一个关键问题。

核心思路：LIR-LIVO的核心思路是融合激光雷达、惯性测量单元(IMU)和视觉信息，利用深度学习提取光照不变的视觉特征，并结合激光雷达提供的深度信息，实现更准确的特征匹配和位姿估计。通过多传感器融合，可以有效克服单一传感器在特定环境下的局限性。

技术框架：LIR-LIVO系统主要包含以下几个模块：1) 预处理模块：对激光雷达点云、图像和IMU数据进行预处理，包括去噪、校正等。2) 特征提取模块：利用深度学习网络（SuperPoint）提取图像特征，并使用LightGlue进行特征匹配。3) 深度关联模块：将视觉特征与激光雷达点云进行深度关联，获得特征点的三维坐标。4) 位姿估计模块：利用优化算法（例如，基于滑动窗口的Bundle Adjustment）融合多传感器信息，估计相机的位姿。

关键创新：LIR-LIVO的关键创新在于：1) 提出了一种基于深度学习的光照不变特征提取方法，能够有效应对光照变化带来的挑战。2) 结合激光雷达深度信息，实现了特征的均匀深度分布，提高了特征匹配的准确性。3) 采用自适应特征匹配策略，根据环境条件动态调整特征匹配的权重。

关键设计：LIR-LIVO使用了SuperPoint网络提取视觉特征，并使用LightGlue进行特征匹配。为了实现特征的均匀深度分布，论文将视觉特征与激光雷达点云进行深度关联，并根据深度信息对特征进行加权。位姿估计模块采用了基于滑动窗口的Bundle Adjustment，并使用IMU数据进行约束。损失函数的设计考虑了激光雷达、视觉和IMU数据的误差，并采用鲁棒核函数来降低外点的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LIR-LIVO在NTU-VIRAL、Hilti'22和R3LIVE-Dataset等基准数据集上进行了评估。实验结果表明，LIR-LIVO在精度和鲁棒性方面均优于其他SOTA方法。特别是在Hilti'22数据集中，LIR-LIVO在光照条件差的环境下表现出显著的优势，位姿估计精度提升了XX%。

🎯 应用场景

LIR-LIVO适用于各种需要在复杂光照和退化环境下进行自主导航和定位的机器人应用，例如：无人驾驶、室内机器人、农业机器人、矿业机器人和搜救机器人。该系统能够提高机器人在恶劣环境下的鲁棒性和可靠性，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

In this paper, we propose LIR-LIVO, a lightweight and robust LiDAR-inertial-visual odometry system designed for challenging illumination and degraded environments. The proposed method leverages deep learning-based illumination-resilient features and LiDAR-Inertial-Visual Odometry (LIVO). By incorporating advanced techniques such as uniform depth distribution of features enabled by depth association with LiDAR point clouds and adaptive feature matching utilizing Superpoint and LightGlue, LIR-LIVO achieves state-of-the-art (SOTA) accuracy and robustness with low computational cost. Experiments are conducted on benchmark datasets, including NTU-VIRAL, Hilti'22, and R3LIVE-Dataset. The corresponding results demonstrate that our proposed method outperforms other SOTA methods on both standard and challenging datasets. Particularly, the proposed method demonstrates robust pose estimation under poor ambient lighting conditions in the Hilti'22 dataset. The code of this work is publicly accessible on GitHub to facilitate advancements in the robotics community.