Vision-based Geo-Localization of Future Mars Rotorcraft in Challenging Illumination Conditions

📄 arXiv: 2502.09795v2 📥 PDF

作者: Dario Pisanti, Robert Hewitt, Roland Brockers, Georgios Georgakis

分类: cs.CV, cs.RO

发布日期: 2025-02-13 (更新: 2025-03-05)

💡 一句话要点

提出Geo-LoFTR，解决火星旋翼机在恶劣光照下的视觉定位难题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 火星旋翼机 视觉定位 地图定位 深度学习 图像配准

📋 核心要点

  1. 火星旋翼机需要先进的导航能力以支持长距离飞行，而地图定位(MbL)是关键技术，但光照差异是挑战。
  2. 提出Geo-LoFTR，一种几何辅助的深度学习模型，用于图像配准，增强了在光照变化下的鲁棒性。
  3. 通过仿真框架生成大量火星图像进行评估，结果表明该系统在光照和尺度变化下优于现有MbL方法。

📝 摘要（中文）

本文提出了一种新的基于视觉的地图定位(MbL)系统，用于解决未来火星旋翼机在复杂光照条件下的定位问题。针对传统MbL系统在旋翼机观测图像与参考地图存在显著光照差异时表现不佳的局限性，本文提出了一种名为Geo-LoFTR的几何辅助深度学习模型，用于图像配准，该模型在光照变化下的鲁棒性优于现有模型。为了支持该系统的开发，本文还构建了一个定制的仿真框架，该框架利用真实的轨道地图生成大量逼真的火星地形图像。综合评估表明，本文提出的系统在显著的光照和尺度变化下，其定位精度优于以往的MbL方法。此外，本文还验证了该方法在模拟火星一天内的有效性。

🔬 方法详解

问题定义：论文旨在解决火星旋翼机在复杂光照条件下进行视觉定位的问题。现有基于视觉的地图定位(MbL)方法在面对旋翼机观测图像与参考地图之间存在显著光照差异时，定位精度会显著下降，限制了旋翼机的作业窗口。

核心思路：论文的核心思路是利用深度学习方法，特别是结合了几何信息的图像配准模型，来增强系统对光照变化的鲁棒性。通过学习图像中的几何特征，模型可以更好地应对光照变化带来的图像差异，从而提高定位精度。

技术框架：该系统的整体框架包含以下几个主要部分：首先，使用定制的仿真框架生成大量的火星地形图像，这些图像具有真实的光照和尺度变化。然后，使用Geo-LoFTR模型进行图像配准，该模型将旋翼机拍摄的图像与参考地图进行匹配。最后，根据配准结果进行定位。

关键创新：该论文的关键创新在于提出了Geo-LoFTR模型，这是一个几何辅助的深度学习模型，专门用于图像配准。与现有方法相比，Geo-LoFTR模型能够更好地提取图像中的几何特征，从而增强了对光照变化的鲁棒性。此外，定制的仿真框架也为模型的训练和评估提供了有力支持。

关键设计：Geo-LoFTR模型的具体结构未知，但根据摘要推断，可能包含以下设计：1. 使用深度神经网络提取图像特征；2. 引入几何约束，例如利用SfM(Structure from Motion)或SLAM(Simultaneous Localization and Mapping)等技术提取的几何信息；3. 设计合适的损失函数，例如考虑了几何一致性的损失函数，以提高配准精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的Geo-LoFTR系统在显著的光照和尺度变化下，其定位精度优于以往的MbL方法。具体性能数据未知，但摘要强调了在模拟火星一天内的有效性，表明该系统具有很强的实用价值。与现有方法相比，该系统在恶劣光照条件下的鲁棒性得到了显著提升。

🎯 应用场景

该研究成果可应用于未来的火星旋翼机任务，提高其自主导航和定位能力，扩展其作业窗口。此外，该方法也可推广到其他行星探测任务中，例如月球或小行星探测。该研究对于提升行星探测任务的效率和安全性具有重要意义，并为未来的深空探测提供技术支持。

📄 摘要（原文）

Planetary exploration using aerial assets has the potential for unprecedented scientific discoveries on Mars. While NASA's Mars helicopter Ingenuity proved flight in Martian atmosphere is possible, future Mars rotocrafts will require advanced navigation capabilities for long-range flights. One such critical capability is Map-based Localization (MbL) which registers an onboard image to a reference map during flight in order to mitigate cumulative drift from visual odometry. However, significant illumination differences between rotocraft observations and a reference map prove challenging for traditional MbL systems, restricting the operational window of the vehicle. In this work, we investigate a new MbL system and propose Geo-LoFTR, a geometry-aided deep learning model for image registration that is more robust under large illumination differences than prior models. The system is supported by a custom simulation framework that uses real orbital maps to produce large amounts of realistic images of the Martian terrain. Comprehensive evaluations show that our proposed system outperforms prior MbL efforts in terms of localization accuracy under significant lighting and scale variations. Furthermore, we demonstrate the validity of our approach across a simulated Martian day.