OReole-FM: successes and challenges toward billion-parameter foundation models for high-resolution satellite imagery
作者: Philipe Dias, Aristeidis Tsaris, Jordan Bowman, Abhishek Potnis, Jacob Arndt, H. Lexie Yang, Dalton Lunga
分类: cs.CV, cs.AI, cs.DC
发布日期: 2024-10-25
期刊: The 32nd ACM International Conference on Advances in Geographic Information Systems (SIGSPATIAL 24), October 29-November 1, 2024, Atlanta, GA, USA. ACM, New York, NY, USA, 4 pages
💡 一句话要点
OReole-FM：面向高分辨率卫星图像的十亿参数级遥感基础模型探索
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感图像 基础模型 视觉Transformer 大规模预训练 高性能计算
📋 核心要点
- 现有遥感图像基础模型参数规模受限，难以充分挖掘遥感数据的潜力，限制了模型的泛化能力和涌现能力。
- 论文利用Frontier超级计算机和大规模高分辨率遥感数据，预训练了十亿参数级别的视觉Transformer基础模型，探索模型扩展带来的性能提升。
- 实验评估了不同预训练模型变体在图像分类、语义分割和目标检测任务上的性能，验证了数据规模对模型扩展的重要性。
📝 摘要（中文）
遥感（RS）图像基础模型（FM）的预训练正日益普及，但模型规模仍局限于数亿参数。将模型扩展到数十亿参数已被证明能带来前所未有的优势，包括涌现能力，但这需要数据规模和计算资源，而这些通常只有工业研发实验室才能提供。本文利用高性能计算资源，包括美国首个百亿亿次级系统Frontier超级计算机，以及高分辨率光学遥感数据，来预训练十亿规模的FM。我们的研究评估了视觉Transformer不同预训练变体在图像分类、语义分割和目标检测基准上的性能，强调了数据规模对于有效模型扩展的重要性。此外，我们讨论了新型TIU预训练数据集的构建、模型初始化，以及数据和预训练模型公开发布的计划。通过讨论相关文献中经常缺乏的技术挑战和细节，本文旨在为地理空间社区提供高效训练和基准测试更大规模FM的最佳实践。
🔬 方法详解
问题定义：现有遥感图像基础模型的参数规模较小，无法充分利用大规模遥感数据的潜力，限制了模型在复杂遥感任务中的性能和泛化能力。现有方法缺乏在大规模数据集和高性能计算资源下的有效训练策略和最佳实践。
核心思路：论文的核心思路是利用高性能计算资源和大规模高分辨率遥感数据，训练更大规模的视觉Transformer基础模型，探索模型规模扩展对遥感图像理解任务的影响。通过数据和模型规模的扩展，期望模型能够学习到更丰富的遥感图像特征，从而提升在下游任务中的性能。
技术框架：论文采用视觉Transformer作为基础模型架构，并在Frontier超级计算机上进行预训练。整体流程包括：1) 构建大规模遥感图像数据集TIU；2) 设计合适的模型初始化策略；3) 利用高性能计算资源进行模型预训练；4) 在图像分类、语义分割和目标检测等下游任务上评估预训练模型的性能。
关键创新：论文的关键创新在于：1) 利用百亿亿次级超级计算机进行大规模遥感图像基础模型的预训练；2) 构建了新的大规模遥感图像预训练数据集TIU；3) 详细讨论了模型训练过程中遇到的技术挑战和解决方案，为遥感领域的基础模型训练提供了宝贵的经验。
关键设计：论文的关键设计包括：1) 数据集构建方面，TIU数据集包含了大规模的高分辨率遥感图像；2) 模型初始化方面，采用了合适的初始化策略以加速模型收敛；3) 训练策略方面，针对大规模模型训练的特点，设计了高效的训练方法，并详细记录了训练过程中遇到的问题和解决方案。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了数据规模对于有效模型扩展的重要性。在图像分类、语义分割和目标检测等任务上，更大规模的预训练模型表现出更好的性能。论文还公开了预训练模型和数据集，为遥感领域的进一步研究提供了便利。
🎯 应用场景
该研究成果可应用于多种遥感图像分析任务，如土地利用分类、灾害监测、城市规划等。更大规模的基础模型能够提升遥感图像理解的精度和效率，为相关领域的决策提供更可靠的依据。未来，该研究有望推动遥感领域智能化发展，促进遥感技术在各行业的广泛应用。
📄 摘要（原文）
While the pretraining of Foundation Models (FMs) for remote sensing (RS) imagery is on the rise, models remain restricted to a few hundred million parameters. Scaling models to billions of parameters has been shown to yield unprecedented benefits including emergent abilities, but requires data scaling and computing resources typically not available outside industry R&D labs. In this work, we pair high-performance computing resources including Frontier supercomputer, America's first exascale system, and high-resolution optical RS data to pretrain billion-scale FMs. Our study assesses performance of different pretrained variants of vision Transformers across image classification, semantic segmentation and object detection benchmarks, which highlight the importance of data scaling for effective model scaling. Moreover, we discuss construction of a novel TIU pretraining dataset, model initialization, with data and pretrained models intended for public release. By discussing technical challenges and details often lacking in the related literature, this work is intended to offer best practices to the geospatial community toward efficient training and benchmarking of larger FMs.