Fine-tuning of Geospatial Foundation Models for Aboveground Biomass Estimation
作者: Michal Muszynski, Levente Klein, Ademir Ferreira da Silva, Anjani Prasad Atluri, Carlos Gomes, Daniela Szwarcman, Gurkanwar Singh, Kewen Gu, Maciel Zortea, Naomi Simumba, Paolo Fraccaro, Shraddha Singh, Steve Meliksetian, Campbell Watson, Daiki Kimura, Harini Srinivasan
分类: cs.AI
发布日期: 2024-06-28
💡 一句话要点
微调地理空间基础模型用于地上生物量估计，在节约计算资源的同时达到与U-Net相当的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地上生物量估计 地理空间基础模型 微调 Swin-B Transformer 遥感图像 迁移学习 碳循环 植被结构
📋 核心要点
- 现有地上生物量（AGB）估计方法计算成本高昂，且难以有效利用大规模遥感数据。
- 该论文提出微调地理空间基础模型，利用Swin-B Transformer作为编码器，卷积层作为解码器，进行AGB估计。
- 实验表明，微调后的模型在参数量减少13倍的情况下，性能与从头训练的U-Net相当，节省了计算资源。
📝 摘要（中文）
全球植被结构测绘对于理解全球碳循环和最大化基于自然的碳封存措施的有效性至关重要。此外，植被结构测绘可以通过指导改善水安全、增加生物多样性和降低洪水风险的行动来帮助减少气候变化的影响。全球卫星测量为监测和管理现有森林的砍伐和退化、天然森林再生、重新造林、生物多样性恢复以及可持续农业实践的实施提供了一组重要的观测数据。本文探讨了微调地理空间基础模型以使用在巴西不同生态区域收集的空间数据来估计地上生物量（AGB）的有效性。微调后的模型架构由 Swin-B 转换器作为编码器（即骨干）和单个卷积层作为解码器头组成。所有结果都与作为基线模型训练的 U-Net 进行了比较。稀疏标签预测任务的实验结果表明，具有冻结编码器的微调地理空间基础模型具有与从头开始训练的 U-Net 相当的性能。尽管微调模型需要优化的参数少 13 倍，从而节省了时间和计算资源。
🔬 方法详解
问题定义：论文旨在解决利用遥感数据进行地上生物量（AGB）精确估计的问题。现有方法，如从头训练的深度学习模型（例如U-Net），通常需要大量的计算资源和时间，尤其是在处理大规模地理空间数据时。此外，这些方法可能无法充分利用已有的地理空间知识。
核心思路：论文的核心思路是利用预训练的地理空间基础模型，通过微调的方式，使其适应AGB估计任务。这种方法可以有效利用预训练模型中蕴含的丰富地理空间信息，从而减少对大量标注数据的依赖，并降低计算成本。通过冻结编码器，进一步减少需要优化的参数数量。
技术框架：整体框架包括两个主要部分：编码器和解码器。编码器采用预训练的Swin-B Transformer，用于提取遥感图像的特征。解码器采用一个简单的卷积层，用于将提取的特征映射到AGB估计值。整个流程是，首先将遥感图像输入到Swin-B Transformer编码器中，得到特征表示，然后将特征表示输入到卷积解码器中，得到AGB估计值。
关键创新：该论文的关键创新在于将预训练的地理空间基础模型应用于AGB估计任务，并探索了冻结编码器进行微调的方法。这种方法在保证性能的同时，显著降低了计算成本。与从头训练的模型相比，微调方法能够更快地收敛，并且需要更少的训练数据。
关键设计：编码器部分使用预训练的Swin-B Transformer，该Transformer已经在大量的地理空间数据上进行了预训练，具有强大的特征提取能力。解码器部分使用一个简单的卷积层，以减少模型的复杂度和计算量。在微调过程中，冻结Swin-B Transformer的大部分参数，只对卷积解码器进行训练，进一步降低了计算成本。损失函数采用均方误差（MSE），用于衡量估计的AGB值与真实值之间的差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过微调地理空间基础模型，可以在AGB估计任务上达到与从头训练的U-Net相当的性能，同时将需要优化的参数数量减少了13倍。这显著降低了计算成本，使得该方法更适用于大规模地理空间数据的处理。此外，该研究还验证了该方法在不同生态区域的迁移学习能力。
🎯 应用场景
该研究成果可广泛应用于全球植被结构测绘、碳循环研究、森林资源管理、气候变化影响评估等领域。通过更高效、更精确地估计地上生物量，可以为碳封存计划的制定、生物多样性保护以及可持续农业实践的推广提供重要的数据支持，从而助力应对气候变化。
📄 摘要（原文）
Global vegetation structure mapping is critical for understanding the global carbon cycle and maximizing the efficacy of nature-based carbon sequestration initiatives. Moreover, vegetation structure mapping can help reduce the impacts of climate change by, for example, guiding actions to improve water security, increase biodiversity and reduce flood risk. Global satellite measurements provide an important set of observations for monitoring and managing deforestation and degradation of existing forests, natural forest regeneration, reforestation, biodiversity restoration, and the implementation of sustainable agricultural practices. In this paper, we explore the effectiveness of fine-tuning of a geospatial foundation model to estimate above-ground biomass (AGB) using space-borne data collected across different eco-regions in Brazil. The fine-tuned model architecture consisted of a Swin-B transformer as the encoder (i.e., backbone) and a single convolutional layer for the decoder head. All results were compared to a U-Net which was trained as the baseline model Experimental results of this sparse-label prediction task demonstrate that the fine-tuned geospatial foundation model with a frozen encoder has comparable performance to a U-Net trained from scratch. This is despite the fine-tuned model having 13 times less parameters requiring optimization, which saves both time and compute resources. Further, we explore the transfer-learning capabilities of the geospatial foundation models by fine-tuning on satellite imagery with sparse labels from different eco-regions in Brazil.