Foundation Models for Generalist Geospatial Artificial Intelligence
作者: Johannes Jakubik, Sujit Roy, C. E. Phillips, Paolo Fraccaro, Denys Godwin, Bianca Zadrozny, Daniela Szwarcman, Carlos Gomes, Gabby Nyirjesy, Blair Edwards, Daiki Kimura, Naomi Simumba, Linsong Chu, S. Karthik Mukkavilli, Devyani Lambhate, Kamal Das, Ranjini Bangalore, Dario Oliveira, Michal Muszynski, Kumar Ankur, Muthukumaran Ramasubramanian, Iksha Gurung, Sam Khallaghi, Hanxi, Li, Michael Cecil, Maryam Ahmadi, Fatemeh Kordi, Hamed Alemohammad, Manil Maskey, Raghu Ganti, Kommy Weldemariam, Rahul Ramachandran
分类: cs.CV, cs.LG
发布日期: 2023-10-28 (更新: 2023-11-08)
💡 一句话要点
提出基础模型以解决地理空间人工智能中的多任务挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 地理空间人工智能 遥感 多任务学习 数据效率
📋 核心要点
- 现有的基础模型在地理空间人工智能任务中面临多任务处理和数据效率的挑战。
- 论文提出了一种新颖的框架，专注于在大规模地理空间数据上进行基础模型的预训练和微调。
- 实验结果显示，预训练的Prithvi模型在多项任务中表现优于现有方法，并且在数据效率上具有显著优势。
📝 摘要（中文）
随着高度适应性和可重用的人工智能模型的发展，预计将对地球科学和遥感产生重大影响。基础模型通过自我监督在大型未标记数据集上进行预训练，然后利用小型标记数据集进行微调。本文首次提出了一种高效的框架，用于在广泛的地理空间数据上进行基础模型的预训练和微调。我们利用该框架创建了Prithvi，一个基于变换器的地理空间基础模型，预训练于超过1TB的多光谱卫星影像。研究表明，该框架在多项地球观测任务中成功微调Prithvi，且在多时相云间隙插补、洪水映射等任务上表现优异。预训练模型加速了微调过程，并在多时相云插补中超越了条件GAN模型。最后，研究还展示了在标记数据有限的情况下，模型的精度不受显著影响的情况下，数据量可以显著减少。
🔬 方法详解
问题定义：本文旨在解决地理空间人工智能中基础模型在多任务处理和数据效率方面的不足，现有方法在处理复杂地球观测任务时常常面临性能瓶颈和数据稀缺的问题。
核心思路：提出了一种高效的预训练和微调框架，利用大规模未标记数据进行基础模型的自我监督学习，随后通过小规模标记数据进行任务特定的微调，以提高模型的适应性和性能。
技术框架：整体架构包括两个主要阶段：首先是基于Harmonized Landsat-Sentinel 2数据集的预训练阶段，接着是针对特定地球观测任务的微调阶段。框架设计旨在最大化模型在多种任务中的表现。
关键创新：最重要的创新在于提出了针对地理空间数据的基础模型预训练方法，特别是在多时相云间隙插补和洪水映射等任务上，展现出优于现有方法的性能。
关键设计：模型包含约1亿个参数，采用变换器架构，损失函数设计考虑了多任务学习的需求，确保在微调过程中能够有效利用有限的标记数据。
🖼️ 关键图片
📊 实验亮点
实验结果显示，预训练的Prithvi模型在多时相云间隙插补任务中相比于条件GAN模型提升了5个百分点（或5.7%），并且在数据量减少的情况下，模型的准确性保持稳定，展示了良好的数据效率。
🎯 应用场景
该研究的潜在应用领域包括地球观测、环境监测、灾害响应等，能够为科学研究和实际应用提供强大的支持。通过提高模型的适应性和数据效率，未来可在更广泛的地理空间任务中实现更高的准确性和效率。
📄 摘要（原文）
Significant progress in the development of highly adaptable and reusable Artificial Intelligence (AI) models is expected to have a significant impact on Earth science and remote sensing. Foundation models are pre-trained on large unlabeled datasets through self-supervision, and then fine-tuned for various downstream tasks with small labeled datasets. This paper introduces a first-of-a-kind framework for the efficient pre-training and fine-tuning of foundational models on extensive geospatial data. We have utilized this framework to create Prithvi, a transformer-based geospatial foundational model pre-trained on more than 1TB of multispectral satellite imagery from the Harmonized Landsat-Sentinel 2 (HLS) dataset. Our study demonstrates the efficacy of our framework in successfully fine-tuning Prithvi to a range of Earth observation tasks that have not been tackled by previous work on foundation models involving multi-temporal cloud gap imputation, flood mapping, wildfire scar segmentation, and multi-temporal crop segmentation. Our experiments show that the pre-trained model accelerates the fine-tuning process compared to leveraging randomly initialized weights. In addition, pre-trained Prithvi compares well against the state-of-the-art, e.g., outperforming a conditional GAN model in multi-temporal cloud imputation by up to 5pp (or 5.7%) in the structural similarity index. Finally, due to the limited availability of labeled data in the field of Earth observation, we gradually reduce the quantity of available labeled data for refining the model to evaluate data efficiency and demonstrate that data can be decreased significantly without affecting the model's accuracy. The pre-trained 100 million parameter model and corresponding fine-tuning workflows have been released publicly as open source contributions to the global Earth sciences community through Hugging Face.