Inline Photometrically Calibrated Hybrid Visual SLAM

📄 arXiv: 2409.16810v1 📥 PDF

作者: Nicolas Abboud, Malak Sayour, Imad H. Elhajj, John Zelek, Daniel Asmar

分类: cs.RO, cs.CV, eess.SY

发布日期: 2024-09-25

💡 一句话要点

提出在线光度校准的混合视觉SLAM，提升光照变化下的定位精度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉SLAM 光度校准 混合SLAM 直接法 间接法 在线估计 机器人导航

📋 核心要点

  1. 现有视觉SLAM方法在光照变化剧烈时性能下降，直接法对光度一致性要求高，间接法特征提取易受影响。
  2. 论文提出在线光度校准的混合SLAM，利用光度校准提升直接法鲁棒性，同时稳定间接法的特征提取。
  3. 实验表明，该方法在多个数据集上优于其他直接、间接和混合SLAM系统，尤其在真实场景中表现突出。

📝 摘要（中文）

本文提出了一种集成的视觉SLAM方法，将在线序列光度校准融入到混合直接-间接视觉SLAM（H-SLAM）中。光度校准有助于规范不同光照条件下的像素强度值，从而改善H-SLAM的直接分量。由于检测到的特征在不同的光照条件下更加稳定，这也给H-SLAM的间接分量带来了一个附带的好处。我们提出的光度校准H-SLAM在包括TUM monoVO以及我们创建的数据集在内的多个数据集上进行了测试。在所有实验中，校准后的H-SLAM优于其他最先进的直接、间接和混合视觉SLAM系统。此外，在我们现场测试的在线SLAM中，它也明显优于其他SLAM系统。

🔬 方法详解

问题定义：视觉SLAM在实际应用中面临光照变化的挑战。直接法依赖于光度一致性假设，光照变化会导致误差累积甚至跟踪失败。间接法虽然依赖特征点，但特征提取的稳定性和准确性也会受到光照影响，从而降低SLAM的整体性能。因此，如何在光照变化的环境下提高视觉SLAM的鲁棒性和精度是一个关键问题。

核心思路：论文的核心思路是在混合直接-间接SLAM框架（H-SLAM）中，加入在线光度校准模块。通过在线估计相机响应函数，对图像进行光度校准，从而减少光照变化对直接法的影响，并提高特征提取的稳定性。混合SLAM结合了直接法和间接法的优点，通过光度校准进一步增强其鲁棒性。

技术框架：该方法基于H-SLAM框架，主要包含以下模块：1) 图像采集；2) 在线光度校准：估计相机响应函数并校正图像；3) 直接法跟踪：利用校准后的图像进行直接法位姿估计；4) 间接法跟踪：提取并匹配校准后图像的特征点，进行位姿估计和地图构建；5) 融合优化：融合直接法和间接法的位姿估计结果，优化相机位姿和地图。

关键创新：该方法最关键的创新点在于将在线光度校准集成到混合视觉SLAM框架中。与离线光度校准相比，在线校准能够适应动态变化的光照环境。与传统的直接法或间接法SLAM相比，该方法通过光度校准提高了对光照变化的鲁棒性，从而提升了SLAM的整体性能。

关键设计：光度校准模块采用在线序列估计方法，实时估计相机响应函数。损失函数的设计需要考虑光度一致性误差和正则化项，以保证估计的稳定性和准确性。混合SLAM框架需要合理地融合直接法和间接法的位姿估计结果，例如采用加权平均或卡尔曼滤波等方法。特征提取算法的选择也需要考虑光照不变性，例如采用SIFT或SURF等算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的光度校准H-SLAM在TUM monoVO数据集以及作者自建数据集上均优于其他state-of-the-art的直接法、间接法和混合视觉SLAM系统。尤其是在作者自建的、光照变化剧烈的场景中，该方法的性能提升更为显著。在线SLAM测试也表明，该方法明显优于其他SLAM系统，验证了其在实际应用中的有效性。

🎯 应用场景

该研究成果可应用于机器人导航、增强现实、无人驾驶等领域。在光照条件复杂的环境中，如室内、室外光线变化频繁的场景，该方法能够提高SLAM系统的定位精度和鲁棒性，从而提升相关应用的用户体验和可靠性。未来，该方法可以进一步扩展到多传感器融合SLAM系统中，例如结合激光雷达等传感器，以实现更精确和稳定的定位。

📄 摘要（原文）

This paper presents an integrated approach to Visual SLAM, merging online sequential photometric calibration within a Hybrid direct-indirect visual SLAM (H-SLAM). Photometric calibration helps normalize pixel intensity values under different lighting conditions, and thereby improves the direct component of our H-SLAM. A tangential benefit also results to the indirect component of H-SLAM given that the detected features are more stable across variable lighting conditions. Our proposed photometrically calibrated H-SLAM is tested on several datasets, including the TUM monoVO as well as on a dataset we created. Calibrated H-SLAM outperforms other state of the art direct, indirect, and hybrid Visual SLAM systems in all the experiments. Furthermore, in online SLAM tested at our site, it also significantly outperformed the other SLAM Systems.