Fine-tune Smarter, Not Harder: Parameter-Efficient Fine-Tuning for Geospatial Foundation Models
作者: Francesc Marti-Escofet, Benedikt Blumenstiel, Linus Scheibenreif, Paolo Fraccaro, Konrad Schindler
分类: cs.CV
发布日期: 2025-04-24 (更新: 2025-06-13)
备注: Code available at https://github.com/IBM/peft-geofm
💡 一句话要点
针对地理空间基础模型，提出更智能而非更费力的参数高效微调方法。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地理空间基础模型 参数高效微调 遥感图像分析 地球观测 模型泛化
📋 核心要点
- 全量微调地理空间基础模型计算成本高昂，且易过拟合，限制了其应用。
- 探索参数高效微调（PEFT）技术，旨在以更少的计算资源实现与全量微调相当甚至更好的性能。
- 实验表明，PEFT技术在多个地理空间数据集上表现出色，并提升了模型泛化能力，同时降低了资源消耗。
📝 摘要（中文）
地球观测（EO）对于监测环境变化、应对灾害和管理自然资源至关重要。在此背景下，基础模型促进了遥感图像分析，以准确有效地检索相关的地理信息。然而，随着这些模型规模的增长，微调由于相关的计算资源和成本而变得越来越具有挑战性，限制了它们的可访问性和可扩展性。此外，完全微调可能导致忘记预训练的特征，甚至降低模型的泛化能力。为了解决这个问题，参数高效微调（PEFT）技术提供了一个有希望的解决方案。在本文中，我们使用各种基础模型架构和PEFT技术进行了广泛的实验，以评估它们在五个不同的EO数据集上的有效性。我们的结果提供了一个全面的比较，深入了解了PEFT方法何时以及如何支持预训练地理空间模型的适应。我们证明了PEFT技术可以匹配甚至超过完全微调的性能，并增强模型对未见地理区域的泛化能力，同时减少训练时间和内存需求。额外的实验研究了架构选择（如解码器类型或元数据的使用）的影响，表明UNet解码器和不使用元数据的微调是推荐的配置。我们已将所有评估的基础模型和技术集成到开源软件包TerraTorch中，以支持快速、可扩展且经济高效的模型适应。
🔬 方法详解
问题定义：论文旨在解决地理空间基础模型全量微调所面临的计算资源消耗大、易过拟合以及泛化能力下降的问题。现有方法，即全量微调，需要更新模型的所有参数，这在模型规模日益增大的情况下变得不切实际，并且容易导致模型遗忘预训练的知识，从而影响其在新地理区域的泛化能力。
核心思路：论文的核心思路是采用参数高效微调（PEFT）技术，仅微调模型的一小部分参数，同时保持大部分预训练参数不变。这样既能使模型适应特定任务，又能避免过拟合和灾难性遗忘，从而提高模型的泛化能力和训练效率。
技术框架：论文评估了多种PEFT技术在不同地理空间基础模型上的表现。整体流程包括：1) 选择预训练的地理空间基础模型；2) 应用不同的PEFT技术，如LoRA、Adapter等；3) 在多个地球观测数据集上进行微调；4) 评估微调后的模型性能，包括准确率、泛化能力等；5) 分析不同PEFT技术和模型架构对性能的影响。所有模型和技术都集成到TerraTorch开源软件包中。
关键创新：论文的关键创新在于对多种PEFT技术在地理空间基础模型上的有效性进行了全面的评估和比较。通过实验，论文揭示了不同PEFT技术在不同数据集和模型架构下的表现差异，为选择合适的PEFT策略提供了指导。此外，论文还探讨了架构选择（如解码器类型）和元数据使用对模型性能的影响。
关键设计：论文实验中考察了多种PEFT方法，包括但不限于LoRA（Low-Rank Adaptation）、Adapters等。针对地理空间数据特点，探索了UNet解码器等架构选择的影响。同时，研究了是否使用元数据进行微调对模型性能的影响。论文还详细记录了不同PEFT方法的参数量、训练时间和性能指标，以便进行公平比较。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PEFT技术在多个地球观测数据集上能够达到甚至超过全量微调的性能，同时显著减少了训练时间和内存需求。例如，在某些数据集上，使用PEFT技术微调的模型在泛化能力上优于全量微调的模型。此外，实验还发现UNet解码器和不使用元数据的微调是推荐的配置。
🎯 应用场景
该研究成果可广泛应用于遥感图像分析、环境监测、灾害评估、土地利用规划等领域。通过参数高效微调，可以降低地理空间基础模型的应用门槛，使其能够快速适应新的地理区域和任务，从而提高遥感数据处理的效率和准确性，为相关决策提供支持。
📄 摘要（原文）
Earth observation (EO) is crucial for monitoring environmental changes, responding to disasters, and managing natural resources. In this context, foundation models facilitate remote sensing image analysis to retrieve relevant geoinformation accurately and efficiently. However, as these models grow in size, fine-tuning becomes increasingly challenging due to the associated computational resources and costs, limiting their accessibility and scalability. Furthermore, full fine-tuning can lead to forgetting pre-trained features and even degrade model generalization. To address this, Parameter-Efficient Fine-Tuning (PEFT) techniques offer a promising solution. In this paper, we conduct extensive experiments with various foundation model architectures and PEFT techniques to evaluate their effectiveness on five different EO datasets. Our results provide a comprehensive comparison, offering insights into when and how PEFT methods support the adaptation of pre-trained geospatial models. We demonstrate that PEFT techniques match or even exceed full fine-tuning performance and enhance model generalisation to unseen geographic regions, while reducing training time and memory requirements. Additional experiments investigate the effect of architecture choices such as the decoder type or the use of metadata, suggesting UNet decoders and fine-tuning without metadata as the recommended configuration. We have integrated all evaluated foundation models and techniques into the open-source package TerraTorch to support quick, scalable, and cost-effective model adaptation.