Learning to Drive on Mars: Visual Multimodal Traversability Estimation for Off-World Navigation
作者: Darren Chiu, Cole Wilson, Andrei Tumbar, Gaurav S. Sukhatme, Steven Myint
分类: cs.RO
发布日期: 2026-09-21
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出一种不确定性感知的可通行性估计框架以解决火星自主导航问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 火星探测 自主导航 可通行性估计 多模态学习 不确定性感知
📋 核心要点
- 现有方法在外星环境中缺乏大规模数据集，限制了基于学习的导航进展。
- 提出了一种不确定性感知的可通行性估计框架，利用多模态驾驶经验学习地形表示。
- 实验结果表明，该方法在AUROC和F1分数上均优于现有最强基线，且实现了最高的平均精度和召回率。
📝 摘要（中文）
在火星上进行自主导航要求车辆能够区分多样且视觉挑战性强的可通行地形。然而，基于学习的导航在外星环境中的进展受到大规模数据集缺乏的限制。自2020年在耶泽罗陨石坑着陆以来，火星2020探测器已经在沙丘、岩石和平坦岩石等地形上行驶。本文提出了一个涵盖500个火星日和45公里轨迹的数据集，包含灰度立体图像对、姿态、加速度计读数、摇摆角度以及倾斜和轮滑估计。基于此数据集，我们引入了一种不确定性感知的可通行性估计框架，从多模态驾驶经验中学习地形表示。实验结果显示，我们的方法在火星2020数据集上取得了0.874的AUROC和0.758的F1分数，分别超越最强基线0.058和0.156，同时实现了最高的平均精度和召回率。
🔬 方法详解
问题定义：本论文旨在解决火星自主导航中车辆对可通行地形的识别问题。现有方法在外星环境中由于缺乏大规模数据集，导致学习效果不佳，难以应对复杂地形的挑战。
核心思路：论文提出的不确定性感知可通行性估计框架，通过多模态数据（如图像、传感器读数等）来学习地形的表示，增强了模型对环境变化的适应能力。
技术框架：整体架构包括数据采集、特征提取、模型训练和评估四个主要模块。数据采集阶段利用火星探测器的传感器获取多模态数据，特征提取阶段则从中提取有用的地形特征，模型训练阶段采用深度学习方法进行训练，最后通过评估模块验证模型性能。
关键创新：本研究的关键创新在于引入了不确定性感知机制，使得模型在面对复杂和不确定的火星地形时，能够更准确地评估可通行性。这一机制与传统方法相比，显著提高了模型的鲁棒性和准确性。
关键设计：在模型设计中，采用了多模态融合技术，结合了图像数据和传感器数据，使用了特定的损失函数来优化可通行性估计，并通过交叉验证确保模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在火星2020数据集上取得了0.874的AUROC和0.758的F1分数，分别超越最强基线0.058和0.156，且在平均精度和召回率上均表现最佳。这些结果表明该方法在可通行性估计方面的显著提升。
🎯 应用场景
该研究的潜在应用领域包括火星探测器的自主导航系统、外星探测任务的地形分析以及未来人类火星探索的辅助决策支持。通过提高对复杂地形的识别能力，该框架能够显著提升探测器在未知环境中的自主行动能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Autonomous navigation on Mars requires vehicles to distinguish between traversable terrains across diverse and visually challenging environments. However, progress in learning-based navigation for off-world environments has been limited by the lack of large-scale datasets. Since landing in Jezero Crater, the Mars 2020 Perseverance rover has traversed terrain ranging from sandy dunes, rocky patches, and flat bedrocks. As a result, this paper presents a dataset spanning 500 sols and 45km of trajectories driven by both human operators and the onboard planner, ENav. Our dataset contains grayscale stereo image pairs, poses, accelerometer readings, rocker-bogie angles, and estimates of tilt and wheel slip. Building on this dataset, we introduce an uncertainty-aware traversability-estimation framework that learns terrain representations from multimodal driving experience. We compare our proposed method against existing approaches on the Mars 2020 dataset and show that our method achieves an AUROC of 0.874 and an F1 score of 0.758, outperforming the strongest baseline by 0.058 and 0.156, respectively, while also achieving the highest average precision and recall. Finally, we show that the visual representations can be integrated into path planners, such as ENav, on a physical rover test bed. Videos, code, and the M2020 dataset will be available at https://darren-chiu.github.io/learning-to-drive-on-mars.