FAST-LIVO2: Fast, Direct LiDAR-Inertial-Visual Odometry

📄 arXiv: 2408.14035v2 📥 PDF

作者: Chunran Zheng, Wei Xu, Zuhao Zou, Tong Hua, Chongjian Yuan, Dongjiao He, Bingyang Zhou, Zheng Liu, Jiarong Lin, Fangcheng Zhu, Yunfan Ren, Rong Wang, Fanle Meng, Fu Zhang

分类: cs.RO, cs.CV

发布日期: 2024-08-26 (更新: 2024-08-28)

备注: 30 pages, 31 figures, due to the limitation that 'The abstract field cannot exceed 1,920 characters', the abstract presented here is shorter than the one in the PDF file

💡 一句话要点

FAST-LIVO2：一种快速、直接的激光雷达-惯性-视觉里程计，适用于实时机器人应用。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 激光雷达惯性视觉里程计 直接法 扩展平方根信息滤波器 实时SLAM 无人机导航

📋 核心要点

  1. 现有SLAM方法在计算效率和鲁棒性方面存在挑战，尤其是在资源受限的机器人平台上。
  2. FAST-LIVO2通过直接法融合激光雷达、惯性和视觉信息，避免了特征提取，提高了效率。
  3. 该系统在无人机导航、机载测绘和3D模型渲染等应用中表现出色，验证了其精度和效率。

📝 摘要（中文）

本文提出了一种快速、直接的激光雷达-惯性-视觉里程计框架FAST-LIVO2，旨在实现SLAM任务中准确而鲁棒的状态估计，并在实时、车载机器人应用中展现出巨大的潜力。FAST-LIVO2通过扩展平方根信息滤波器（ESIKF）有效地融合了IMU、激光雷达和图像测量数据。为了解决异构激光雷达和图像测量之间维度不匹配的问题，我们在卡尔曼滤波器中使用了顺序更新策略。为了提高效率，视觉和激光雷达融合都采用了直接法，激光雷达模块直接注册原始点云，无需提取边缘或平面特征，而视觉模块则最小化直接光度误差，无需提取ORB或FAST角点特征。视觉和激光雷达测量的融合基于一个统一的体素地图，激光雷达模块构建几何结构以注册新的激光雷达扫描，而视觉模块将图像块附加到激光雷达点上。为了提高图像对齐的准确性，我们使用来自体素地图中激光雷达点的平面先验（甚至细化平面先验），并在新图像对齐后动态更新参考块。此外，为了增强图像对齐的鲁棒性，FAST-LIVO2采用按需光线投射操作，并实时估计图像曝光时间。最后，我们详细介绍了FAST-LIVO2的三个应用：无人机车载导航展示了系统在实时车载导航方面的计算效率，机载测绘展示了系统的测绘精度，以及3D模型渲染（基于网格和基于NeRF）突出了我们重建的密集地图适用于后续渲染任务。我们开源了我们的代码、数据集和应用程序在GitHub上，以造福机器人社区。

🔬 方法详解

问题定义：论文旨在解决在资源受限的机器人平台上，如何实现快速、准确和鲁棒的SLAM问题。现有方法通常依赖于特征提取，计算量大，且容易受到环境光照变化和纹理缺失的影响。因此，如何在不依赖特征提取的情况下，高效地融合多种传感器信息，是本文要解决的关键问题。

核心思路：FAST-LIVO2的核心思路是采用直接法，直接利用原始激光雷达点云和图像像素信息进行融合，避免了特征提取的步骤，从而大大提高了计算效率。同时，利用扩展平方根信息滤波器（ESIKF）进行状态估计，并采用顺序更新策略处理异构传感器数据。

技术框架：FAST-LIVO2的整体框架包括以下几个主要模块：1) 激光雷达模块：直接注册原始点云，构建体素地图；2) 视觉模块：最小化直接光度误差，将图像块附加到体素地图中的激光雷达点上；3) IMU模块：提供惯性测量数据，用于状态预测；4) ESIKF：融合来自激光雷达、视觉和IMU的数据，进行状态估计。系统采用顺序更新策略，先更新激光雷达信息，再更新视觉信息。

关键创新：FAST-LIVO2的关键创新在于以下几个方面：1) 采用直接法进行激光雷达和视觉融合，避免了特征提取；2) 使用统一的体素地图，将激光雷达点云和图像信息关联起来；3) 利用激光雷达点云的平面先验，提高图像对齐的准确性；4) 采用按需光线投射操作，并实时估计图像曝光时间，增强了图像对齐的鲁棒性。

关键设计：在视觉模块中，动态更新参考图像块，以适应环境变化。利用激光雷达点云的平面先验信息，约束图像对齐过程。在ESIKF中，采用顺序更新策略，并对激光雷达和视觉信息进行加权融合。图像曝光时间的实时估计，可以有效补偿光照变化带来的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FAST-LIVO2在无人机车载导航、机载测绘和3D模型渲染等应用中进行了验证。实验结果表明，该系统具有很高的计算效率和定位精度，能够满足实时性要求。开源的代码、数据集和应用程序将有助于推动机器人社区的发展。

🎯 应用场景

FAST-LIVO2适用于多种机器人应用场景，包括无人机自主导航、机载三维地图构建、以及三维模型渲染等。该系统能够为机器人提供准确、实时的定位和建图能力，从而支持更高级的自主任务，例如环境探索、目标检测和路径规划。重建的密集地图可用于后续的渲染任务，例如生成高质量的虚拟现实场景。

📄 摘要（原文）

This paper proposes FAST-LIVO2: a fast, direct LiDAR-inertial-visual odometry framework to achieve accurate and robust state estimation in SLAM tasks and provide great potential in real-time, onboard robotic applications. FAST-LIVO2 fuses the IMU, LiDAR and image measurements efficiently through an ESIKF. To address the dimension mismatch between the heterogeneous LiDAR and image measurements, we use a sequential update strategy in the Kalman filter. To enhance the efficiency, we use direct methods for both the visual and LiDAR fusion, where the LiDAR module registers raw points without extracting edge or plane features and the visual module minimizes direct photometric errors without extracting ORB or FAST corner features. The fusion of both visual and LiDAR measurements is based on a single unified voxel map where the LiDAR module constructs the geometric structure for registering new LiDAR scans and the visual module attaches image patches to the LiDAR points. To enhance the accuracy of image alignment, we use plane priors from the LiDAR points in the voxel map (and even refine the plane prior) and update the reference patch dynamically after new images are aligned. Furthermore, to enhance the robustness of image alignment, FAST-LIVO2 employs an on-demanding raycast operation and estimates the image exposure time in real time. Lastly, we detail three applications of FAST-LIVO2: UAV onboard navigation demonstrating the system's computation efficiency for real-time onboard navigation, airborne mapping showcasing the system's mapping accuracy, and 3D model rendering (mesh-based and NeRF-based) underscoring the suitability of our reconstructed dense map for subsequent rendering tasks. We open source our code, dataset and application on GitHub to benefit the robotics community.