Adapting Vision Foundation Models for Robust Cloud Segmentation in Remote Sensing Images

📄 arXiv: 2411.13127v2 📥 PDF

作者: Xuechao Zou, Shun Zhang, Kai Li, Shiying Wang, Junliang Xing, Lei Jin, Congyan Lang, Pin Tao

分类: cs.CV

发布日期: 2024-11-20 (更新: 2024-11-23)

备注: 13 pages, 9 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Cloud-Adapter，利用视觉基础模型实现鲁棒的遥感图像云分割

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 遥感图像 云分割 视觉基础模型 参数高效 自适应学习

📋 核心要点

  1. 遥感图像云分割精度直接影响后续分析，现有方法泛化性不足，难以适应复杂场景。
  2. Cloud-Adapter冻结预训练VFM，引入轻量级空间感知模块和自适应模块，提升分割性能。
  3. 实验表明，Cloud-Adapter仅用少量可训练参数，在多个数据集上达到SOTA，提升显著。

📝 摘要（中文）

云分割是遥感图像解译中的一项关键挑战，其准确性直接影响后续数据处理和分析的有效性。近年来，视觉基础模型(VFM)在各种视觉任务中表现出强大的泛化能力。本文提出了一种参数高效的自适应方法，称为Cloud-Adapter，旨在提高云分割的准确性和鲁棒性。该方法利用在通用领域数据上预训练的VFM，并保持其参数冻结，无需额外训练。Cloud-Adapter包含一个轻量级的空间感知模块，该模块首先利用卷积神经网络(ConvNet)提取密集的空间表示。然后，这些多尺度特征被聚合，并作为上下文输入到自适应模块，该模块调节VFM中冻结的Transformer层。实验结果表明，Cloud-Adapter方法仅使用冻结骨干网络0.6%的可训练参数，即可实现显著的性能提升。Cloud-Adapter在来自多个卫星源、传感器系列、数据处理级别、土地覆盖场景和标注粒度的各种云分割数据集上始终如一地实现了最先进的性能。我们已在https://xavierjiezou.github.io/Cloud-Adapter/发布了代码和模型检查点，以支持进一步的研究。

🔬 方法详解

问题定义：遥感图像中的云分割任务面临着多源数据、不同传感器、不同处理级别以及各种地物覆盖场景带来的挑战。现有方法在面对这些复杂场景时，泛化能力不足，难以保证分割精度。因此，如何提高云分割模型在不同遥感图像上的鲁棒性和准确性是本文要解决的核心问题。

核心思路：本文的核心思路是利用视觉基础模型（VFM）强大的泛化能力，并在此基础上进行参数高效的自适应调整。通过冻结VFM的主体参数，避免了从头训练或微调带来的高计算成本和过拟合风险。同时，引入轻量级的空间感知模块和自适应模块，使模型能够更好地理解遥感图像的特定空间信息，并根据上下文动态调整VFM的特征表示。

技术框架：Cloud-Adapter的整体架构主要包含三个部分：1) 冻结的视觉基础模型（VFM）作为特征提取器；2) 轻量级的空间感知模块，用于提取多尺度的空间特征；3) 自适应模块，用于将空间特征融入到VFM的Transformer层中，从而调节VFM的特征表示。具体流程是：首先，遥感图像输入到VFM中提取初步特征；然后，空间感知模块提取多尺度空间特征，并进行聚合；最后，自适应模块利用聚合后的空间特征调制VFM的Transformer层，得到最终的分割结果。

关键创新：Cloud-Adapter的关键创新在于其参数高效的自适应方法。与传统的微调方法相比，Cloud-Adapter只训练少量参数（仅占VFM的0.6%），大大降低了计算成本和过拟合风险。此外，空间感知模块和自适应模块的设计，使得模型能够更好地理解遥感图像的特定空间信息，并根据上下文动态调整VFM的特征表示，从而提高了分割的准确性和鲁棒性。

关键设计：空间感知模块采用卷积神经网络（ConvNet）提取多尺度空间特征，并通过特征金字塔网络（FPN）进行特征融合。自适应模块采用Transformer结构，将空间特征作为上下文信息，通过注意力机制调制VFM的Transformer层。损失函数采用交叉熵损失函数，用于优化分割结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Cloud-Adapter在多个云分割数据集上取得了SOTA性能，例如在XXX数据集上，相比于基线方法提升了X%。该方法仅使用VFM的0.6%的可训练参数，实现了显著的性能提升，验证了其参数效率和有效性。实验结果表明，Cloud-Adapter在不同卫星源、传感器系列和土地覆盖场景下均表现出良好的鲁棒性。

🎯 应用场景

Cloud-Adapter在遥感图像处理领域具有广泛的应用前景，可用于自动化云检测、云掩膜生成，从而提高后续地物分类、变化检测、环境监测等任务的精度和效率。该研究成果有助于提升遥感数据的应用价值，为智慧农业、城市规划、灾害评估等领域提供更可靠的数据支持。未来，该方法有望推广到其他遥感图像分析任务中。

📄 摘要（原文）

Cloud segmentation is a critical challenge in remote sensing image interpretation, as its accuracy directly impacts the effectiveness of subsequent data processing and analysis. Recently, vision foundation models (VFM) have demonstrated powerful generalization capabilities across various visual tasks. In this paper, we present a parameter-efficient adaptive approach, termed Cloud-Adapter, designed to enhance the accuracy and robustness of cloud segmentation. Our method leverages a VFM pretrained on general domain data, which remains frozen, eliminating the need for additional training. Cloud-Adapter incorporates a lightweight spatial perception module that initially utilizes a convolutional neural network (ConvNet) to extract dense spatial representations. These multi-scale features are then aggregated and serve as contextual inputs to an adapting module, which modulates the frozen transformer layers within the VFM. Experimental results demonstrate that the Cloud-Adapter approach, utilizing only 0.6% of the trainable parameters of the frozen backbone, achieves substantial performance gains. Cloud-Adapter consistently achieves state-of-the-art performance across various cloud segmentation datasets from multiple satellite sources, sensor series, data processing levels, land cover scenarios, and annotation granularities. We have released the code and model checkpoints at https://xavierjiezou.github.io/Cloud-Adapter/ to support further research.