PANGAEA: A Global and Inclusive Benchmark for Geospatial Foundation Models

📄 arXiv: 2412.04204v2 📥 PDF

作者: Valerio Marsocci, Yuru Jia, Georges Le Bellier, David Kerekes, Liang Zeng, Sebastian Hafner, Sebastian Gerard, Eric Brune, Ritu Yadav, Ali Shibli, Heng Fang, Yifang Ban, Maarten Vergauwen, Nicolas Audebert, Andrea Nascetti

分类: cs.CV

发布日期: 2024-12-05 (更新: 2025-04-30)

🔗 代码/项目: GITHUB

💡 一句话要点

提出PANGAEA：一个全球通用的地理空间基础模型评估基准，涵盖多样数据集与任务。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理空间基础模型 地球观测 评估基准 遥感 深度学习 模型评估 数据集

📋 核心要点

  1. 现有地理空间基础模型评估缺乏一致性和多样性，数据集和任务过于简单，地理区域存在偏差，难以评估模型的实际应用能力。
  2. PANGAEA通过构建标准化的评估协议，涵盖多样的数据集、任务、分辨率、传感器模态和时间性，旨在提供一个稳健且广泛适用的基准。
  3. 实验结果表明，现有GFM在不同场景下存在局限性，并未始终优于监督模型，PANGAEA的发布旨在促进更具原则性的评估协议。

📝 摘要（中文）

地理空间基础模型(GFMs)已成为从地球观测数据中提取表征的强大工具，但其评估仍然不一致且范围狭窄。现有的工作通常在次优的下游数据集和任务上进行评估，这些数据集和任务通常过于简单或范围过于狭窄，限制了评估在评估GFM的实际适用性方面的作用。此外，当前的评估协议明显缺乏多样性，未能考虑到图像分辨率、传感器类型和时间性的多样性，这进一步复杂化了GFM性能的评估。特别地，大多数现有的基准在地理上偏向于北美和欧洲，这质疑了GFM的全球适用性。为了克服这些挑战，我们引入了PANGAEA，一个标准化的评估协议，涵盖了多样的数据集、任务、分辨率、传感器模态和时间性。它为GFM建立了一个稳健且广泛适用的基准。我们评估了在这个基准上公开可用的最流行的GFM，并分析了它们在几个领域中的性能。特别地，我们将这些模型与监督基线(例如，UNet和vanilla ViT)进行比较，并评估它们在面对有限的标记数据时的有效性。我们的发现突出了GFM在不同场景下的局限性，表明它们并没有始终优于监督模型。PANGAEA被设计为高度可扩展的，允许在未来的研究中无缝地包含新的数据集、模型和任务。通过发布评估代码和基准，我们旨在使其他研究人员能够复制我们的实验并在此基础上进行构建，从而为大型预训练地理空间模型培养一个更具原则性的评估协议。代码可在https://github.com/VMarsocci/pangaea-bench获得。

🔬 方法详解

问题定义：现有地理空间基础模型（GFMs）的评估存在诸多问题。首先，评估数据集和任务往往过于简单，无法充分反映GFMs在实际应用中的性能。其次，评估协议缺乏多样性，未能充分考虑不同分辨率、传感器类型和时间性对模型性能的影响。此外，现有基准在地理分布上存在偏差，主要集中在北美和欧洲，难以评估GFMs的全球适用性。这些问题导致GFMs的评估结果不够可靠，难以指导模型的改进和应用。

核心思路：PANGAEA的核心思路是构建一个全面、多样、公平的地理空间基础模型评估基准。通过整合来自不同地理区域、不同分辨率、不同传感器类型和不同时间段的数据集，以及涵盖多种下游任务的评估协议，PANGAEA旨在提供一个更具代表性和挑战性的评估环境。这种设计能够更准确地评估GFMs的性能，并促进模型在各种实际场景中的应用。

技术框架：PANGAEA的整体框架包括以下几个主要组成部分：1) 多样的数据集：收集来自全球不同地区的地球观测数据，涵盖不同的分辨率、传感器类型和时间段。2) 多样的任务：定义一系列下游任务，包括图像分类、目标检测、语义分割等，以评估GFMs在不同应用场景中的性能。3) 标准化的评估协议：制定统一的评估指标和流程，确保评估结果的可比性和可重复性。4) 可扩展的平台：设计一个易于扩展的平台，方便用户添加新的数据集、模型和任务。

关键创新：PANGAEA最重要的技术创新在于其全面性和多样性。与现有基准相比，PANGAEA涵盖了更广泛的地理区域、更多样的数据类型和更丰富的下游任务。这种设计能够更全面地评估GFMs的性能，并发现模型在不同场景下的优势和不足。此外，PANGAEA的可扩展性也使其能够适应不断发展的地理空间基础模型领域。

关键设计：PANGAEA的关键设计包括：1) 数据集的选择：优先选择具有代表性和挑战性的数据集，以确保评估结果的可靠性。2) 任务的定义：根据实际应用需求，定义一系列具有代表性的下游任务。3) 评估指标的选择：选择能够准确反映模型性能的评估指标，如准确率、召回率、F1值等。4) 平台的构建：采用模块化设计，方便用户添加新的数据集、模型和任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PANGAEA对多个流行的GFM进行了评估，并与监督模型（如UNet和ViT）进行了比较。实验结果表明，在某些场景下，GFM的性能并未始终优于监督模型，尤其是在数据量有限的情况下。这些发现揭示了GFM的局限性，并为未来的研究提供了方向。

🎯 应用场景

PANGAEA可广泛应用于地球观测数据的分析和应用领域，例如土地利用分类、灾害监测、农业估产、城市规划等。通过提供一个标准化的评估基准，PANGAEA能够促进地理空间基础模型的发展和应用，提高地球观测数据的利用效率，为解决全球性挑战提供支持。

📄 摘要（原文）

Geospatial Foundation Models (GFMs) have emerged as powerful tools for extracting representations from Earth observation data, but their evaluation remains inconsistent and narrow. Existing works often evaluate on suboptimal downstream datasets and tasks, that are often too easy or too narrow, limiting the usefulness of the evaluations to assess the real-world applicability of GFMs. Additionally, there is a distinct lack of diversity in current evaluation protocols, which fail to account for the multiplicity of image resolutions, sensor types, and temporalities, which further complicates the assessment of GFM performance. In particular, most existing benchmarks are geographically biased towards North America and Europe, questioning the global applicability of GFMs. To overcome these challenges, we introduce PANGAEA, a standardized evaluation protocol that covers a diverse set of datasets, tasks, resolutions, sensor modalities, and temporalities. It establishes a robust and widely applicable benchmark for GFMs. We evaluate the most popular GFMs openly available on this benchmark and analyze their performance across several domains. In particular, we compare these models to supervised baselines (e.g. UNet and vanilla ViT), and assess their effectiveness when faced with limited labeled data. Our findings highlight the limitations of GFMs, under different scenarios, showing that they do not consistently outperform supervised models. PANGAEA is designed to be highly extensible, allowing for the seamless inclusion of new datasets, models, and tasks in future research. By releasing the evaluation code and benchmark, we aim to enable other researchers to replicate our experiments and build upon our work, fostering a more principled evaluation protocol for large pre-trained geospatial models. The code is available at https://github.com/VMarsocci/pangaea-bench.