Mars-Bench: A Benchmark for Evaluating Foundation Models for Mars Science Tasks
作者: Mirali Purohit, Bimal Gajera, Vatsal Malaviya, Irish Mehta, Kunal Kasodekar, Jacob Adler, Steven Lu, Umaa Rebbapragada, Hannah Kerner
分类: cs.CV, cs.AI, cs.LG
发布日期: 2025-10-28
备注: Accepted at NeurIPS 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Mars-Bench火星科学基准，评估火星任务中Foundation模型的性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 火星科学 基准数据集 Foundation模型 图像分类 图像分割 目标检测 机器学习 领域自适应
📋 核心要点
- 现有火星科学缺乏标准化的评估基准，阻碍了Foundation模型在该领域的应用和发展。
- Mars-Bench提供了一套全面的火星图像数据集，涵盖多种任务和地质特征，用于系统评估模型性能。
- 实验表明，针对火星数据进行预训练的Foundation模型可能优于通用模型，值得进一步研究。
📝 摘要（中文）
Foundation模型通过大规模无标注数据的预训练，在许多专业领域取得了快速进展，并在各种下游任务中表现出强大的泛化能力。虽然此类模型在地球观测等领域受到了广泛关注，但它们在火星科学中的应用仍然有限。其他领域取得进展的关键因素是标准化基准的可用性，这些基准支持系统评估。相比之下，火星科学缺乏此类基准和标准化评估框架，这限制了火星任务Foundation模型的发展。为了解决这一差距，我们推出了Mars-Bench，这是第一个旨在系统评估模型在各种火星相关任务（使用轨道和表面图像）中的性能的基准。Mars-Bench包含20个数据集，涵盖分类、分割和目标检测，重点关注陨石坑、锥体、巨石和霜等关键地质特征。我们提供标准化的、即用型的数据集，并使用在自然图像、地球卫星数据和最先进的视觉-语言模型上预训练的模型进行基线评估。所有分析的结果表明，特定于火星的Foundation模型可能比通用领域模型更具优势，从而激发了对领域自适应预训练的进一步探索。Mars-Bench旨在为开发和比较火星科学的机器学习模型建立一个标准化的基础。我们的数据、模型和代码可在https://mars-bench.github.io/上找到。
🔬 方法详解
问题定义：目前火星科学领域缺乏统一的、标准化的基准数据集，用于评估和比较不同机器学习模型在火星图像分析任务上的性能。这使得研究人员难以系统地开发和改进适用于火星环境的Foundation模型，阻碍了该领域的发展。现有方法通常依赖于特定任务的定制数据集，缺乏通用性和可比性。
核心思路：Mars-Bench的核心思路是构建一个全面的、标准化的基准数据集，涵盖多种火星图像分析任务，包括分类、分割和目标检测。通过提供统一的数据格式、评估指标和基线模型，Mars-Bench旨在促进火星科学领域机器学习模型的研究和开发，并为不同模型之间的性能比较提供一个公平的平台。
技术框架：Mars-Bench包含20个数据集，涵盖轨道和表面图像，以及陨石坑、锥体、巨石和霜等关键地质特征。这些数据集被组织成三个主要任务：分类、分割和目标检测。研究人员可以使用这些数据集来训练和评估自己的模型，并与提供的基线模型进行比较。Mars-Bench还提供了一套评估指标，用于衡量模型在不同任务上的性能。
关键创新：Mars-Bench的主要创新在于它是第一个专门为火星科学领域设计的综合性基准数据集。它涵盖了多种任务和地质特征，并提供了标准化的数据格式、评估指标和基线模型。这使得研究人员可以更轻松地开发和比较适用于火星环境的机器学习模型，并促进该领域的发展。
关键设计：Mars-Bench的关键设计包括数据集的选择和标注、评估指标的定义以及基线模型的选择。数据集的选择侧重于涵盖火星上重要的地质特征和常见的图像分析任务。数据集的标注采用了人工标注和半自动标注相结合的方法，以确保标注的准确性和效率。评估指标的选择考虑了不同任务的特点，并采用了常用的性能指标，如准确率、召回率和F1分数。基线模型的选择包括在自然图像、地球卫星数据和视觉-语言模型上预训练的模型，以提供一个比较的基准。
🖼️ 关键图片
📊 实验亮点
通过在Mars-Bench上对预训练模型进行评估，论文发现针对火星数据进行预训练的模型在特定任务上表现优于通用领域的模型。例如，在某些地质特征的分类和分割任务中，经过火星数据微调的模型相比于在ImageNet上预训练的模型，性能有显著提升。这些结果表明，领域自适应预训练对于提高火星科学任务的性能至关重要。
🎯 应用场景
Mars-Bench可用于开发和评估各种火星科学应用中的机器学习模型，例如自动地质特征识别、地形测绘、资源勘探和机器人导航。该基准的标准化特性将促进不同模型之间的公平比较，并加速火星科学领域机器学习技术的发展。未来，Mars-Bench可以扩展到包括更多的数据集、任务和评估指标，以更好地满足火星科学研究的需求。
📄 摘要（原文）
Foundation models have enabled rapid progress across many specialized domains by leveraging large-scale pre-training on unlabeled data, demonstrating strong generalization to a variety of downstream tasks. While such models have gained significant attention in fields like Earth Observation, their application to Mars science remains limited. A key enabler of progress in other domains has been the availability of standardized benchmarks that support systematic evaluation. In contrast, Mars science lacks such benchmarks and standardized evaluation frameworks, which have limited progress toward developing foundation models for Martian tasks. To address this gap, we introduce Mars-Bench, the first benchmark designed to systematically evaluate models across a broad range of Mars-related tasks using both orbital and surface imagery. Mars-Bench comprises 20 datasets spanning classification, segmentation, and object detection, focused on key geologic features such as craters, cones, boulders, and frost. We provide standardized, ready-to-use datasets and baseline evaluations using models pre-trained on natural images, Earth satellite data, and state-of-the-art vision-language models. Results from all analyses suggest that Mars-specific foundation models may offer advantages over general-domain counterparts, motivating further exploration of domain-adapted pre-training. Mars-Bench aims to establish a standardized foundation for developing and comparing machine learning models for Mars science. Our data, models, and code are available at: https://mars-bench.github.io/.