FLAVARS: A Multimodal Foundational Language and Vision Alignment Model for Remote Sensing

📄 arXiv: 2501.08490v1 📥 PDF

作者: Isaac Corley, Simone Fobi Nsutezo, Anthony Ortiz, Caleb Robinson, Rahul Dodhia, Juan M. Lavista Ferres, Peyman Najafirad

分类: cs.CV, cs.LG

发布日期: 2025-01-14

💡 一句话要点

FLAVARS：遥感多模态基础语言-视觉对齐模型，兼顾视觉任务性能与零样本能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像 多模态学习 对比学习 掩码建模 视觉-语言对齐 零样本分类 地理空间信息

📋 核心要点

  1. 现有对比图像-文本方法（如CLIP）在遥感领域虽然实现了视觉-语言对齐和零样本分类，但牺牲了纯视觉任务的性能。
  2. FLAVARS结合了对比学习和掩码建模的优点，同时引入对比位置编码，以实现更好的视觉任务性能和零样本分类能力。
  3. 实验结果表明，FLAVARS在视觉任务上显著优于SkyCLIP，并在SpaceNet1数据集上取得了显著的mIOU提升，同时保留了零样本分类能力。

📝 摘要（中文）

遥感图像包含丰富的物体和上下文视觉信息。目前，将配对的卫星图像和文本描述相结合，用于预训练高性能编码器以支持下游任务已成为一种趋势。然而，虽然像CLIP这样的对比图像-文本方法能够实现视觉-语言对齐和零样本分类能力，但与像MAE这样的仅图像预训练方法相比，仅视觉下游任务的性能往往会下降。在本文中，我们提出了FLAVARS，一种结合了对比学习和掩码建模优势的预训练方法，并通过对比位置编码实现地理空间对齐。实验表明，FLAVARS在仅视觉任务（如KNN分类和语义分割）上显著优于SkyCLIP基线，在SpaceNet1数据集上实现了+6%的mIOU提升，同时保留了执行零样本分类的能力，这与MAE预训练方法不同。

🔬 方法详解

问题定义：遥感领域中，利用图像-文本对进行预训练的模型，如SkyCLIP，虽然具备了零样本分类能力，但在纯视觉下游任务上的表现不如仅使用图像数据预训练的模型，例如MAE。因此，如何在保持零样本能力的同时，提升纯视觉任务的性能是一个关键问题。

核心思路：FLAVARS的核心思路是结合对比学习和掩码建模的优势。对比学习用于实现视觉-语言对齐和零样本分类能力，而掩码建模则用于提升纯视觉任务的性能。此外，还引入了对比位置编码，以更好地利用遥感图像的地理空间信息。

技术框架：FLAVARS的整体框架包含三个主要组成部分：对比学习模块、掩码建模模块和对比位置编码模块。对比学习模块使用图像和文本描述进行对比学习，以实现视觉-语言对齐。掩码建模模块随机掩盖部分图像区域，并训练模型重建被掩盖的区域，以提升视觉表征能力。对比位置编码模块则利用地理位置信息进行对比学习，以增强模型对地理空间信息的理解。

关键创新：FLAVARS的关键创新在于将对比学习、掩码建模和对比位置编码三种方法有机结合，从而在保持零样本分类能力的同时，显著提升了纯视觉任务的性能。这种结合充分利用了遥感图像的特点，并克服了现有方法的局限性。

关键设计：在对比学习模块中，使用了InfoNCE损失函数。在掩码建模模块中，使用了MAE的重建损失函数。对比位置编码模块中，使用了与图像块对应的地理位置坐标，并采用对比学习的方式进行训练。具体的网络结构基于Transformer，并针对遥感图像的特点进行了调整。具体的掩码比例和位置编码的实现细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

FLAVARS在SpaceNet1数据集上，相较于SkyCLIP基线，在语义分割任务上取得了+6%的mIOU提升。同时，FLAVARS保留了零样本分类能力，克服了MAE预训练方法无法进行零样本分类的缺点。这些实验结果表明，FLAVARS在视觉任务性能和零样本能力之间取得了良好的平衡。

🎯 应用场景

FLAVARS模型可广泛应用于遥感图像分析领域，例如土地覆盖分类、目标检测、变化检测、灾害评估等。该模型能够提升遥感图像解译的自动化程度和准确性，为环境监测、城市规划、农业管理等领域提供有力支持，并有望推动遥感技术的进一步发展。

📄 摘要（原文）

Remote sensing imagery is dense with objects and contextual visual information. There is a recent trend to combine paired satellite images and text captions for pretraining performant encoders for downstream tasks. However, while contrastive image-text methods like CLIP enable vision-language alignment and zero-shot classification ability, vision-only downstream performance tends to degrade compared to image-only pretraining, such as MAE. In this paper, we propose FLAVARS, a pretraining method that combines the best of both contrastive learning and masked modeling, along with geospatial alignment via contrastive location encoding. We find that FLAVARS significantly outperforms a baseline of SkyCLIP for vision-only tasks such as KNN classification and semantic segmentation, +6\% mIOU on SpaceNet1, while retaining the ability to perform zero-shot classification, unlike MAE pretrained methods.