Parameter-Efficient Adaptation of Geospatial Foundation Models through Embedding Deflection

📄 arXiv: 2503.09493v2 📥 PDF

作者: Romain Thoreau, Valerio Marsocci, Dawa Derksen

分类: cs.CV

发布日期: 2025-03-12 (更新: 2025-09-25)

备注: Published as a conference paper at ICCV 2025

💡 一句话要点

提出DEFLECT，通过嵌入偏转高效适应地理空间基础模型，提升多光谱卫星图像处理性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地理空间基础模型 参数高效适应 多光谱卫星图像 嵌入偏转 地球科学 环境监测 低秩适应

📋 核心要点

  1. 现有方法在将地理空间基础模型适应于多光谱卫星图像时，未能充分利用预训练模型的空间结构先验知识。
  2. DEFLECT通过嵌入偏转，在微调过程中增强模型对光谱信息的提取和表示能力，从而提升模型性能。
  3. 实验表明，DEFLECT在多个GFM和数据集上，以更少的参数实现了与现有方法相当甚至更高的分类和分割精度。

📝 摘要（中文）

随着大规模异构数据集的日益普及，以低成本方式调整基础模型已成为关键问题。自然语言处理领域的开创性工作，如低秩适应(LoRA)，利用了适应过程中参数更新的低“内在秩”。本文认为，在数据和模型中加入更强的归纳偏置可以增强地理空间基础模型(GFM)的适应性，这些GFM是在RGB卫星图像上预训练的，用于其他类型的光学卫星数据。具体而言，GFM的预训练参数为多光谱图像的空间结构提供了强大的先验。因此，我们引入了DEFLECT（Deflecting Embeddings for Finetuning Latent representations for Earth and Climate Tasks），这是一种新的策略，用于以极少的额外参数将GFM适应于多光谱卫星图像。DEFLECT提高了提取特征的表示能力，特别是增强了光谱信息，这对于地球科学和环境相关任务至关重要。我们通过三个不同的GFM和五个不同的数据集（从森林监测到海洋环境分割）证明了我们方法的有效性。与同类方法相比，DEFLECT在分类和分割任务中以少5-10倍的参数实现了相当或更高的精度。代码将公开发布。

🔬 方法详解

问题定义：论文旨在解决地理空间基础模型（GFM）在适应多光谱卫星图像时，参数效率低下的问题。现有方法通常需要大量的参数调整，计算成本高昂，且可能导致过拟合。这些方法未能充分利用GFM在RGB图像上预训练所获得的强大空间结构先验知识，尤其是在处理光谱信息时表现不足。

核心思路：论文的核心思路是通过“嵌入偏转”（Embedding Deflection）来高效地调整GFM，使其更好地适应多光谱卫星图像。这种方法的核心在于，利用预训练GFM的空间结构先验，并通过少量参数的调整，引导模型的嵌入空间，从而增强模型对光谱信息的提取和表示能力。

技术框架：DEFLECT方法主要包含以下几个阶段：1) 加载预训练的GFM；2) 在模型的特定层（例如，Transformer的注意力层）引入可学习的偏转向量；3) 使用多光谱卫星图像数据微调模型，仅更新偏转向量的参数；4) 使用微调后的模型进行下游任务，如分类或分割。

关键创新：DEFLECT的关键创新在于其参数效率和对光谱信息的增强。与传统的微调方法相比，DEFLECT仅需调整极少量的参数，即可达到相当甚至更高的性能。此外，通过嵌入偏转，DEFLECT能够有效地引导模型关注多光谱图像中的光谱信息，从而提升模型在地球科学和环境相关任务中的表现。

关键设计：DEFLECT的关键设计包括：1) 在Transformer的注意力层引入偏转向量，用于调整嵌入空间的表示；2) 使用低秩分解来限制偏转向量的参数量，从而提高参数效率；3) 设计合适的损失函数，以鼓励模型学习到更具判别性的光谱特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DEFLECT在三个不同的GFM和五个不同的数据集上均取得了显著的性能提升。与现有方法相比，DEFLECT在分类和分割任务中，仅使用5-10倍更少的参数，即可达到相当甚至更高的精度。例如，在森林监测任务中，DEFLECT的精度与LoRA相当，但参数量减少了8倍。

🎯 应用场景

DEFLECT方法可广泛应用于地球科学和环境监测领域，例如森林监测、海洋环境分割、农作物分类、土地利用规划等。该方法能够以较低的计算成本，将预训练的地理空间基础模型应用于各种多光谱卫星图像分析任务，为相关领域的研究和应用提供有力支持，并有望促进更高效、更准确的地球观测和环境管理。

📄 摘要（原文）

As large-scale heterogeneous data sets become increasingly available, adapting foundation models at low cost has become a key issue. Seminal works in natural language processing, e.g. Low-Rank Adaptation (LoRA), leverage the low "intrinsic rank" of parameter updates during adaptation. In this paper, we argue that incorporating stronger inductive biases in both data and models can enhance the adaptation of Geospatial Foundation Models (GFMs), pretrained on RGB satellite images, to other types of optical satellite data. Specifically, the pretrained parameters of GFMs serve as a strong prior for the spatial structure of multispectral images. For this reason, we introduce DEFLECT (Deflecting Embeddings for Finetuning Latent representations for Earth and Climate Tasks), a novel strategy for adapting GFMs to multispectral satellite imagery with very few additional parameters. DEFLECT improves the representation capabilities of the extracted features, particularly enhancing spectral information, which is essential for geoscience and environmental-related tasks. We demonstrate the effectiveness of our method across three different GFMs and five diverse datasets, ranging from forest monitoring to marine environment segmentation. Compared to competing methods, DEFLECT achieves on-par or higher accuracy with 5-10$\times$ fewer parameters for classification and segmentation tasks. The code will be made publicly available.