A Genealogy of Foundation Models in Remote Sensing
作者: Kevin Lane, Morteza Karimzadeh
分类: cs.CV, cs.LG
发布日期: 2025-04-24 (更新: 2025-10-31)
备注: 28 pages, submitted to ACM SigSpatial, currently under peer review. This version is revised from the original 20 page manuscript
💡 一句话要点
综述遥感领域Foundation Model发展，探索多传感器融合与未来方向
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感 Foundation Model 多传感器融合 自监督学习 表征学习
📋 核心要点
- 现有遥感Foundation Model通常直接借鉴计算机视觉方法，缺乏对遥感数据特点的深入挖掘。
- 本文系统性地回顾了遥感领域Foundation Model的发展，重点关注多传感器数据融合的策略。
- 论文分析了现有方法的优缺点，并提出了未来遥感Foundation Model的发展方向，包括降低计算资源需求等。
📝 摘要（中文）
Foundation Model在遥感领域的表征学习中日益受到关注。许多此类模型采用在计算机视觉领域已获成功的策略，并进行最小程度的领域特定修改。然而，由于如何最有效地利用遥感数据存在多种竞争方法，因此该领域中Foundation Model的开发和应用仍在蓬勃发展。本文考察了这些方法及其在计算机视觉领域的根源，旨在描述潜在的优势和缺陷，同时概述了进一步改进遥感专用Foundation Model的未来方向。我们讨论了学习到的表征的质量以及减轻对大量计算资源的需求的方法。我们首先研究单传感器遥感Foundation Model，以介绍概念并提供背景信息，然后重点关注将地球观测的多传感器方面纳入Foundation Model。特别是，我们探讨了现有方法在多大程度上利用多个传感器来训练与多模态Foundation Model相关的Foundation Model。最后，我们确定了进一步利用大量未标记的、季节性的和多传感器遥感观测数据的机会。
🔬 方法详解
问题定义：遥感领域缺乏针对性强的Foundation Model，现有模型大多是计算机视觉模型的简单迁移，无法充分利用遥感数据的特点，例如多传感器、时序性和大规模无标签数据。此外，训练这些模型通常需要大量的计算资源，限制了其应用范围。
核心思路：本文的核心思路是对遥感领域Foundation Model的发展历程进行梳理，分析不同方法的优缺点，并重点关注如何有效地融合多传感器数据。通过借鉴计算机视觉领域的经验，结合遥感数据的特点，探索更有效的训练策略和模型架构。
技术框架：本文首先回顾了单传感器遥感Foundation Model，介绍了基本概念和背景知识。然后，重点讨论了多传感器遥感Foundation Model，分析了不同方法如何利用多个传感器的数据进行训练。最后，提出了未来遥感Foundation Model的发展方向，包括如何利用大规模无标签数据、降低计算资源需求等。整体框架是按照时间线和技术演进的逻辑进行组织的。
关键创新：本文的创新之处在于对遥感领域Foundation Model进行了系统性的梳理和分析，特别是在多传感器数据融合方面。论文不仅回顾了现有方法，还指出了这些方法的局限性，并提出了未来发展的方向。这对于遥感领域的研究人员具有重要的参考价值。
关键设计：论文并没有提出具体的模型或算法，而是对现有方法进行了分类和比较。在多传感器数据融合方面，论文讨论了不同的融合策略，例如早期融合、晚期融合和中间融合。此外，论文还讨论了如何利用自监督学习等技术来训练遥感Foundation Model，并提出了降低计算资源需求的方法，例如知识蒸馏和模型压缩。
🖼️ 关键图片
📊 实验亮点
本文对遥感领域Foundation Model进行了全面的综述，重点关注多传感器数据融合。论文分析了现有方法的优缺点，并提出了未来发展的方向，例如利用大规模无标签数据和降低计算资源需求。这些分析和建议对于遥感领域的研究人员具有重要的参考价值，可以帮助他们更好地理解和应用Foundation Model。
🎯 应用场景
该研究成果可应用于各种遥感应用场景，例如地物分类、变化检测、图像分割和目标识别。通过构建更有效的遥感Foundation Model，可以提高这些任务的性能，并降低对标注数据的需求。此外，该研究还可以促进遥感数据与其他领域数据的融合，例如地理信息系统（GIS）数据和社会经济数据，从而为更广泛的应用提供支持。
📄 摘要（原文）
Foundation models have garnered increasing attention for representation learning in remote sensing. Many such foundation models adopt approaches that have demonstrated success in computer vision with minimal domain-specific modification. However, the development and application of foundation models in this field are still burgeoning, as there are a variety of competing approaches for how to most effectively leverage remotely sensed data. This paper examines these approaches, along with their roots in the computer vision field. This is done to characterize potential advantages and pitfalls, while outlining future directions to further improve remote sensing-specific foundation models. We discuss the quality of the learned representations and methods to alleviate the need for massive compute resources. We first examine single-sensor remote foundation models to introduce concepts and provide context, and then place emphasis on incorporating the multi-sensor aspect of Earth observations into foundation models. In particular, we explore the extent to which existing approaches leverage multiple sensors in training foundation models in relation to multi-modal foundation models. Finally, we identify opportunities for further harnessing the vast amounts of unlabeled, seasonal, and multi-sensor remote sensing observations.