FMARS: Annotating Remote Sensing Images for Disaster Management using Foundation Models

📄 arXiv: 2405.20109v2 📥 PDF

作者: Edoardo Arnaudo, Jacopo Lungo Vaschetti, Lorenzo Innocenti, Luca Barco, Davide Lisi, Vanina Fissore, Claudio Rossi

分类: cs.CV

发布日期: 2024-05-30 (更新: 2024-06-20)

备注: Accepted at IGARSS 2024, 5 pages. Revised and corrected version

🔗 代码/项目: GITHUB

💡 一句话要点

FMARS：利用Foundation Model标注遥感影像，助力灾害管理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感影像 灾害管理 Foundation Model 自动标注 领域自适应

📋 核心要点

  1. 极高分辨率遥感影像日益普及，但缺乏有效的机器学习应用所需的标注数据，限制了其应用。
  2. FMARS方法利用GroundingDINO和SAM等Foundation Model，从灾害事件前的遥感影像中自动生成标注数据，降低标注成本。
  3. 通过无监督领域自适应技术，提升了分割模型在真实灾害场景中的泛化能力，验证了自动标注数据的有效性。

📝 摘要（中文）

本文提出了一种名为FMARS（Foundation Model Annotations in Remote Sensing）的方法，该方法利用极高分辨率（VHR）遥感影像和Foundation Model（如GroundingDINO和Segment Anything (SAM)）实现快速、稳健的自动标注。研究重点关注灾害管理领域，并提供了一个大规模数据集，该数据集包含19个灾害事件发生前的影像标签，这些标签来源于Maxar Open Data计划。研究人员使用生成的标签训练分割模型，并采用无监督领域自适应（UDA）技术来提高模型在真实场景中的泛化能力。实验结果表明，利用Foundation Model大规模自动标注遥感数据是有效的，能够为关键应用提供稳健的下游模型。

🔬 方法详解

问题定义：遥感影像在灾害管理中具有重要作用，但高质量的标注数据获取成本高昂，阻碍了深度学习模型的应用。现有方法依赖人工标注，效率低下且难以扩展到大规模数据集。因此，如何高效、自动地生成遥感影像标注数据是一个关键问题。

核心思路：本文的核心思路是利用近年来涌现的Foundation Model，如GroundingDINO和Segment Anything Model (SAM)，这些模型在图像分割和目标检测方面表现出色，具备强大的泛化能力。通过将这些模型应用于遥感影像，可以自动生成初始标注，从而大幅降低人工标注的需求。

技术框架：FMARS方法的整体框架包括以下几个主要阶段：1) 数据收集：从Maxar Open Data计划中获取灾害事件前的VHR遥感影像。2) 自动标注：使用GroundingDINO和SAM等Foundation Model对影像进行自动标注，生成初始标签。3) 模型训练：使用自动生成的标签训练分割模型。4) 领域自适应：采用无监督领域自适应（UDA）技术，提高模型在真实灾害场景中的泛化能力。

关键创新：该方法最重要的创新点在于将Foundation Model应用于遥感影像的自动标注，并结合无监督领域自适应技术，解决了遥感影像标注数据匮乏和模型泛化能力不足的问题。与传统的人工标注方法相比，FMARS方法能够显著提高标注效率，并降低标注成本。

关键设计：在自动标注阶段，研究人员可能需要针对遥感影像的特点对Foundation Model进行微调或调整参数。在领域自适应阶段，可能采用了对抗训练或自训练等技术，以减小训练数据和真实数据之间的领域差异。具体的损失函数和网络结构选择取决于具体的分割模型和领域自适应方法。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该研究通过实验验证了FMARS方法的有效性，证明了利用Foundation Model自动标注遥感影像的可行性。通过在生成的标签上训练分割模型，并结合无监督领域自适应技术，提高了模型在真实灾害场景中的泛化能力。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可广泛应用于灾害管理领域，例如灾前风险评估、灾后损失评估和应急响应。通过自动标注遥感影像，可以快速生成训练数据，从而训练出能够准确识别受灾区域和关键基础设施的深度学习模型。此外，该方法还可以扩展到其他遥感应用领域，如城市规划、环境保护和农业监测等，具有重要的实际价值和广阔的应用前景。

📄 摘要（原文）

Very-High Resolution (VHR) remote sensing imagery is increasingly accessible, but often lacks annotations for effective machine learning applications. Recent foundation models like GroundingDINO and Segment Anything (SAM) provide opportunities to automatically generate annotations. This study introduces FMARS (Foundation Model Annotations in Remote Sensing), a methodology leveraging VHR imagery and foundation models for fast and robust annotation. We focus on disaster management and provide a large-scale dataset with labels obtained from pre-event imagery over 19 disaster events, derived from the Maxar Open Data initiative. We train segmentation models on the generated labels, using Unsupervised Domain Adaptation (UDA) techniques to increase transferability to real-world scenarios. Our results demonstrate the effectiveness of leveraging foundation models to automatically annotate remote sensing data at scale, enabling robust downstream models for critical applications. Code and dataset are available at \url{https://github.com/links-ads/igarss-fmars}.