Vision Foundation Models in Remote Sensing: A Survey
作者: Siqi Lu, Junlin Guo, James R Zimmer-Dauphinee, Jordan M Nieusma, Xiao Wang, Parker VanValkenburgh, Steven A Wernke, Yuankai Huo
分类: cs.CV, cs.LG
发布日期: 2024-08-06 (更新: 2025-02-11)
💡 一句话要点
遥感领域视觉基础模型综述：分析架构、数据集、方法并展望未来方向
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感 基础模型 视觉模型 自监督学习 预训练 深度学习 模型综述
📋 核心要点
- 遥感领域传统方法依赖人工判读和特定任务模型，泛化能力弱，难以应对复杂场景。
- 本文对遥感领域的基础模型进行全面综述，重点关注模型架构、预训练数据集和方法。
- 通过性能对比，突出了遥感基础模型的新兴趋势和显著进步，并讨论了技术挑战和未来方向。
📝 摘要（中文）
人工智能技术深刻地改变了遥感领域，彻底革新了数据收集、处理和分析方式。传统上依赖于人工判读和特定任务模型的遥感研究，由于大规模预训练AI模型（即基础模型）的出现而得到显著增强，这些模型能够以空前的准确性和效率执行各种任务。本文全面综述了遥感领域的基础模型，根据其架构、预训练数据集和方法对其进行分类。通过详细的性能比较，我们强调了新兴趋势和这些基础模型取得的重大进展。此外，我们还讨论了技术挑战、实际影响和未来的研究方向，包括对高质量数据、计算资源和改进模型泛化能力的需求。我们的研究还发现，预训练方法，特别是对比学习和掩码自动编码器等自监督学习技术，显著提高了基础模型的性能和鲁棒性。本综述旨在为研究人员和从业人员提供遥感领域基础模型进展和有希望的持续发展和应用途径的全景图。
🔬 方法详解
问题定义：遥感领域面临着数据标注成本高昂、特定任务模型泛化性差的问题。传统方法难以有效利用大规模未标注遥感数据，并且在不同地理区域和传感器之间迁移能力有限。因此，如何构建一个通用的、可迁移的遥感视觉模型是亟待解决的问题。
核心思路：本文的核心思路是利用大规模预训练的基础模型，通过自监督学习等方法，从海量未标注遥感数据中学习通用的视觉表征。然后，将这些预训练好的模型迁移到各种下游遥感任务中，从而提高模型的性能和泛化能力。这种方法借鉴了自然语言处理领域BERT等模型的成功经验。
技术框架：本文主要对遥感领域的基础模型进行了分类和综述，并没有提出新的技术框架。综述中涉及的模型架构包括卷积神经网络（CNN）、Transformer以及混合架构。预训练方法主要包括对比学习（如SimCLR、MoCo）和掩码自动编码器（MAE）等自监督学习方法。下游任务涵盖了图像分类、目标检测、语义分割等常见的遥感应用。
关键创新：本文是一篇综述性文章，其创新之处在于系统性地整理和分析了遥感领域的基础模型研究进展，并指出了未来研究方向。它总结了不同模型架构、预训练方法和下游任务的优缺点，为研究人员提供了一个全面的参考。
关键设计：本文主要关注现有模型的分析，因此没有涉及新的关键设计。但是，文章强调了预训练数据集的选择、自监督学习方法的选择以及模型迁移策略的重要性。例如，选择具有代表性的遥感数据集进行预训练，采用合适的对比学习或掩码自动编码器方法，以及针对特定下游任务进行微调，都是影响模型性能的关键因素。
🖼️ 关键图片
📊 实验亮点
该综述总结了遥感领域基础模型的最新进展，强调了自监督学习在提高模型性能和鲁棒性方面的关键作用。对比学习和掩码自动编码器等方法在遥感图像分类、目标检测和语义分割等任务中取得了显著成果，相较于传统方法，在小样本情况下表现出更强的泛化能力。综述还指出了未来研究方向，例如如何更好地利用多模态遥感数据和提高模型的解释性。
🎯 应用场景
该研究对遥感领域具有广泛的应用前景，包括但不限于：精准农业监测、城市规划、自然灾害评估、气候变化研究、环境保护等。通过利用预训练的基础模型，可以降低遥感数据处理的成本，提高分析效率和精度，为相关领域的决策提供更可靠的依据。未来，随着遥感数据的不断增长和基础模型的不断发展，其应用潜力将进一步扩大。
📄 摘要（原文）
Artificial Intelligence (AI) technologies have profoundly transformed the field of remote sensing, revolutionizing data collection, processing, and analysis. Traditionally reliant on manual interpretation and task-specific models, remote sensing research has been significantly enhanced by the advent of foundation models-large-scale, pre-trained AI models capable of performing a wide array of tasks with unprecedented accuracy and efficiency. This paper provides a comprehensive survey of foundation models in the remote sensing domain. We categorize these models based on their architectures, pre-training datasets, and methodologies. Through detailed performance comparisons, we highlight emerging trends and the significant advancements achieved by those foundation models. Additionally, we discuss technical challenges, practical implications, and future research directions, addressing the need for high-quality data, computational resources, and improved model generalization. Our research also finds that pre-training methods, particularly self-supervised learning techniques like contrastive learning and masked autoencoders, remarkably enhance the performance and robustness of foundation models. This survey aims to serve as a resource for researchers and practitioners by providing a panorama of advances and promising pathways for continued development and application of foundation models in remote sensing.