Uncertainty and Generalizability in Foundation Models for Earth Observation
作者: Raul Ramos-Pollan, Freddie Kalaitzis, Karthick Panner Selvam
分类: cs.CV, cs.LG
发布日期: 2024-09-13
备注: A large ablation study measuring uncertainty and spatial generalizability with 8 foundation models, 11 world regions and 7 downstream tasks
💡 一句话要点
针对地球观测，研究了基础模型的不确定性和泛化性，并提出评估方法。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地球观测 基础模型 泛化性 不确定性 消融研究 下游任务 空间泛化
📋 核心要点
- 地球观测领域缺乏对基础模型泛化性和不确定性的系统性评估，阻碍了下游任务的有效设计。
- 通过大规模消融实验，研究不同基础模型在多个地球观测区域和任务上的性能和不确定性。
- 实验结果揭示了空间泛化的局限性，强调了基础模型选择和下游任务设计的关键性。
📝 摘要（中文）
本文从下游任务设计的角度出发，例如在特定感兴趣区域（AOI）上估计植被覆盖，并受限于标注预算。利用现有基础模型（FM），需要决定是在一个不同的但标注丰富的AOI上训练下游模型，并期望其泛化到目标AOI，还是将目标AOI的标注数据分割用于训练和验证。无论哪种情况，都面临着FM选择、AOI采样策略等问题，这些都会影响结果的性能和不确定性。本文使用八个现有的FM，以Sentinel 1或Sentinel 2作为输入数据，以及ESA World Cover产品的类别作为下游任务，跨越十一个AOI进行了大规模的消融研究。通过重复采样和训练，产生了约50万个简单的线性回归模型。结果表明，AOI之间的空间泛化能力存在局限性，同时也展示了FM的强大能力，在不同的芯片级预测任务中，预测值和目标值之间的相关系数超过0.9。然而，性能和不确定性在不同的AOI、任务和FM之间差异很大。作者认为这是一个关键问题，因为每个FM和下游任务背后都有许多设计决策（输入模态、采样、架构、预训练等），而下游任务设计者通常只了解并能决定其中的一部分。因此，本文提倡使用本文描述的方法（在参考全局标签和简单探针上进行大规模消融），无论是在发布新的FM时，还是在设计下游任务以使用它们时，都能做出明智的决策。
🔬 方法详解
问题定义：论文旨在解决地球观测领域中，如何选择合适的基础模型（FM）并设计下游任务，以在标注预算有限的情况下，最大化模型在特定感兴趣区域（AOI）的性能，并量化其不确定性的问题。现有方法缺乏对不同FM在不同AOI上的泛化能力和不确定性的系统性评估，导致下游任务设计者难以做出明智的决策。
核心思路：论文的核心思路是通过大规模的消融实验，系统性地评估不同FM在多个AOI和下游任务上的性能和不确定性。通过重复采样和训练，构建大量的简单线性回归模型，分析不同设计选择（如FM选择、输入模态、采样策略等）对模型性能和不确定性的影响。
技术框架：论文的技术框架主要包括以下几个步骤：1）选择多个现有的地球观测基础模型（FM），如基于Sentinel 1或Sentinel 2数据的模型。2）选择多个感兴趣区域（AOI），覆盖不同的地理环境和植被类型。3）定义下游任务，如使用ESA World Cover产品中的类别进行植被覆盖预测。4）进行重复采样和训练，构建大量的简单线性回归模型。5）评估模型的性能（如相关系数）和不确定性，并分析不同设计选择的影响。
关键创新：论文的关键创新在于其系统性的评估方法，通过大规模的消融实验，量化了不同FM在不同AOI和下游任务上的泛化能力和不确定性。这种方法为下游任务设计者提供了有价值的参考，帮助他们选择合适的FM并设计有效的下游任务。
关键设计：论文的关键设计包括：1）选择多个具有代表性的地球观测基础模型，覆盖不同的架构和预训练策略。2）选择多个具有代表性的感兴趣区域，覆盖不同的地理环境和植被类型。3）使用简单的线性回归模型作为下游任务的探针，以降低下游任务的复杂性，更专注于评估FM的泛化能力。4）进行大量的重复采样和训练，以获得可靠的性能和不确定性估计。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在不同的芯片级预测任务中，使用基础模型可以获得超过0.9的相关系数。然而，性能和不确定性在不同的AOI、任务和FM之间差异很大，强调了空间泛化的局限性。大规模消融研究揭示了不同设计选择对模型性能和不确定性的影响，为下游任务设计提供了重要指导。
🎯 应用场景
该研究成果可应用于各种地球观测下游任务，如植被覆盖监测、土地利用分类、灾害评估等。通过选择合适的基础模型和优化下游任务设计，可以提高模型在特定区域的预测精度和可靠性，为环境监测、农业管理和城市规划等领域提供更准确的信息支持。
📄 摘要（原文）
We take the perspective in which we want to design a downstream task (such as estimating vegetation coverage) on a certain area of interest (AOI) with a limited labeling budget. By leveraging an existing Foundation Model (FM) we must decide whether we train a downstream model on a different but label-rich AOI hoping it generalizes to our AOI, or we split labels in our AOI for training and validating. In either case, we face choices concerning what FM to use, how to sample our AOI for labeling, etc. which affect both the performance and uncertainty of the results. In this work, we perform a large ablative study using eight existing FMs on either Sentinel 1 or Sentinel 2 as input data, and the classes from the ESA World Cover product as downstream tasks across eleven AOIs. We do repeated sampling and training, resulting in an ablation of some 500K simple linear regression models. Our results show both the limits of spatial generalizability across AOIs and the power of FMs where we are able to get over 0.9 correlation coefficient between predictions and targets on different chip level predictive tasks. And still, performance and uncertainty vary greatly across AOIs, tasks and FMs. We believe this is a key issue in practice, because there are many design decisions behind each FM and downstream task (input modalities, sampling, architectures, pretraining, etc.) and usually a downstream task designer is aware of and can decide upon a few of them. Through this work, we advocate for the usage of the methodology herein described (large ablations on reference global labels and simple probes), both when publishing new FMs, and to make informed decisions when designing downstream tasks to use them.