Harvesting AlphaEarth: Benchmarking the Geospatial Foundation Model for Agricultural Downstream Tasks

📄 arXiv: 2601.00857v1 📥 PDF

作者: Yuchi Ma, Yawen Shen, Anu Swatantran, David B. Lobell

分类: cs.LG

发布日期: 2025-12-30

💡 一句话要点

评估AlphaEarth GFM在农业下游任务中的性能，并与传统遥感模型对比

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理空间基础模型 农业遥感 作物产量预测 耕作方式制图 覆盖作物制图 AlphaEarth Foundation 深度学习

📋 核心要点

  1. 现有遥感特征提取方法在农业监测中存在局限性，需要更强大的地理空间基础模型。
  2. 论文评估了AlphaEarth Foundation (AEF) 在作物产量预测、耕作方式制图和覆盖作物制图等农业下游任务中的性能。
  3. 实验表明，AEF模型在本地数据训练下，在产量预测和县级耕作方式制图方面与传统遥感模型具有竞争力。

📝 摘要（中文）

地理空间基础模型(GFMs)已成为克服现有特征提取方法局限性的有希望的途径。最近，Google DeepMind推出了AlphaEarth Foundation (AEF)，这是一个使用跨连续时间的多源地球观测数据进行预训练的GFM。AEF生成年度和全球嵌入数据集，可直接用于分析和建模。内部实验表明，AEF嵌入在15个地球观测任务中优于现有模型，无需重新训练。然而，这些实验主要集中在土地覆盖和土地利用分类上。将AEF和其他GFM应用于农业监测需要在关键的农业下游任务中进行深入评估。此外，缺乏对基于AEF的模型和传统的基于遥感(RS)的模型在不同场景下的全面比较，这可能为研究人员和实践者提供有价值的指导。本研究通过评估AEF嵌入在美国的三个农业下游任务中的性能来解决这些差距，包括作物产量预测、耕作方式制图和覆盖作物制图。数据集来自公共和私人来源，以全面评估AEF嵌入在不同尺度和位置的任务中的性能，并训练基于RS的模型作为比较模型。基于AEF的模型通常在所有任务中表现出强大的性能，并且在本地数据上训练时，在产量预测和县级耕作方式制图方面与专门构建的基于RS的模型具有竞争力。然而，我们也发现当前AEF嵌入存在一些局限性，例如与基于RS的模型相比，空间可转移性有限、可解释性低以及时间敏感性有限。这些局限性建议在农业中应用AEF嵌入时要谨慎，因为时间敏感性、泛化性和可解释性非常重要。

🔬 方法详解

问题定义：论文旨在评估Google DeepMind提出的AlphaEarth Foundation (AEF) 地理空间基础模型在农业下游任务中的有效性。现有方法，特别是传统的遥感方法，在特征提取和泛化能力方面存在局限性，无法充分利用多源地球观测数据的时间序列信息。此外，缺乏对AEF在农业领域的全面评估，以及与传统遥感方法的直接比较。

核心思路：论文的核心思路是利用AEF预训练的嵌入向量作为特征，构建农业下游任务的模型，并将其性能与基于传统遥感数据的模型进行比较。通过在不同尺度和位置的任务中评估AEF的性能，揭示其优势和局限性，为研究人员和实践者提供指导。

技术框架：整体框架包括以下几个阶段：1) 数据收集：收集来自公共和私人来源的农业数据集，包括作物产量、耕作方式和覆盖作物信息。2) 特征提取：使用AEF提取地球观测数据的嵌入向量，并使用传统遥感方法提取光谱和纹理特征。3) 模型训练：使用提取的特征训练农业下游任务的模型，例如回归模型用于产量预测，分类模型用于耕作方式和覆盖作物制图。4) 性能评估：使用不同的指标评估模型的性能，并比较AEF模型和传统遥感模型的性能。

关键创新：论文的关键创新在于对AlphaEarth Foundation (AEF) 在农业下游任务中的性能进行了全面的基准测试。通过与传统遥感方法的比较，揭示了AEF的优势和局限性，为GFM在农业领域的应用提供了有价值的见解。此外，论文还构建了包含公共和私有数据的综合数据集，用于评估AEF在不同尺度和位置的任务中的性能。

关键设计：论文的关键设计包括：1) 选择了三个具有代表性的农业下游任务：作物产量预测、耕作方式制图和覆盖作物制图。2) 使用了多种模型，包括线性回归、随机森林和支持向量机，以评估AEF特征的有效性。3) 采用了交叉验证和空间划分等方法，以评估模型的泛化能力和空间可转移性。4) 评估了AEF特征的时间敏感性，并分析了其在不同时间窗口下的性能。

📊 实验亮点

实验结果表明，基于AEF的模型在作物产量预测和县级耕作方式制图方面与专门构建的基于遥感(RS)的模型具有竞争力，尤其是在本地数据上训练时。然而，AEF模型在空间可转移性、可解释性和时间敏感性方面存在局限性，需要进一步改进。例如，在某些区域，传统遥感模型的表现优于AEF模型。

🎯 应用场景

该研究成果可应用于精准农业、农业保险、农业政策制定等领域。通过利用地理空间基础模型，可以更准确地预测作物产量、监测耕作方式和识别覆盖作物，从而提高农业生产效率、降低风险并促进可持续农业发展。未来的研究可以探索如何改进GFM的泛化能力、可解释性和时间敏感性，以更好地服务于农业领域。

📄 摘要（原文）

Geospatial foundation models (GFMs) have emerged as a promising approach to overcoming the limitations in existing featurization methods. More recently, Google DeepMind has introduced AlphaEarth Foundation (AEF), a GFM pre-trained using multi-source EOs across continuous time. An annual and global embedding dataset is produced using AEF that is ready for analysis and modeling. The internal experiments show that AEF embeddings have outperformed operational models in 15 EO tasks without re-training. However, those experiments are mostly about land cover and land use classification. Applying AEF and other GFMs to agricultural monitoring require an in-depth evaluation in critical agricultural downstream tasks. There is also a lack of comprehensive comparison between the AEF-based models and traditional remote sensing (RS)-based models under different scenarios, which could offer valuable guidance for researchers and practitioners. This study addresses some of these gaps by evaluating AEF embeddings in three agricultural downstream tasks in the U.S., including crop yield prediction, tillage mapping, and cover crop mapping. Datasets are compiled from both public and private sources to comprehensively evaluate AEF embeddings across tasks at different scales and locations, and RS-based models are trained as comparison models. AEF-based models generally exhibit strong performance on all tasks and are competitive with purpose-built RS-based models in yield prediction and county-level tillage mapping when trained on local data. However, we also find several limitations in current AEF embeddings, such as limited spatial transferability compared to RS-based models, low interpretability, and limited time sensitivity. These limitations recommend caution when applying AEF embeddings in agriculture, where time sensitivity, generalizability, and interpretability is important.