S2C: Learning Noise-Resistant Differences for Unsupervised Change Detection in Multimodal Remote Sensing Images

📄 arXiv: 2502.12604v1 📥 PDF

作者: Lei Ding, Xibing Zuo, Danfeng Hong, Haitao Guo, Jun Lu, Zhihui Gong, Lorenzo Bruzzone

分类: cs.CV

发布日期: 2025-02-18

💡 一句话要点

提出S2C框架，利用视觉基础模型和对比学习进行多模态遥感图像的无监督变化检测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无监督变化检测 多模态遥感 对比学习 视觉基础模型 三元组学习 噪声鲁棒性 时序差异

📋 核心要点

  1. 多模态遥感图像的变化检测面临时空复杂性和传感器异构性带来的挑战，现有方法难以有效提取变化信息。
  2. S2C框架通过对比学习将视觉基础模型的知识迁移到变化表征中，并显式建模时序差异，提升变化检测的准确性。
  3. 实验结果表明，S2C在多个数据集上显著优于现有方法，精度提升显著，并具有良好的鲁棒性和样本效率。

📝 摘要（中文）

本文针对多模态遥感图像中无监督变化检测(UCD)的挑战，提出了一种Semantic-to-Change (S2C)学习框架。该框架旨在利用视觉基础模型(VFM)中的隐式知识，通过对比学习(CL)生成变化表征，从而避免显式监督。与现有侧重学习多时相相似性的CL方法不同，S2C引入了一种新的三元组学习策略，显式地建模了对变化检测至关重要的时序差异。此外，训练过程中引入随机空间和光谱扰动，增强了对时序噪声的鲁棒性。同时，定义了网格稀疏正则化来抑制不显著的变化，并开发了IoU匹配算法来优化变化检测结果。在四个基准数据集上的实验表明，S2C学习框架在精度上显著优于当前最先进的方法，分别提升超过31%、9%、23%和15%，并展示了鲁棒性和样本效率，适用于各种视觉基础模型或骨干网络的训练和适配。

🔬 方法详解

问题定义：多模态遥感图像的无监督变化检测(UCD)由于数据固有的时空复杂性和不同成像传感器产生的异构性而极具挑战。现有方法难以有效提取多时相图像之间的变化信息，并且容易受到噪声的影响。

核心思路：本文的核心思路是利用视觉基础模型(VFM)中蕴含的丰富语义知识，通过对比学习(CL)的方式，将这些知识迁移到变化表征的学习中。同时，考虑到变化检测任务的特殊性，显式地建模时序差异，而非仅仅关注多时相图像的相似性。

技术框架：S2C框架主要包含以下几个模块：1) 特征提取模块：使用视觉基础模型或预训练的神经网络作为骨干网络，提取多时相遥感图像的特征。2) 三元组学习模块：构建包含锚点、正样本和负样本的三元组，其中锚点和正样本来自同一区域的不同时相，负样本来自不同区域的不同时相。3) 噪声鲁棒性增强模块：通过引入随机空间和光谱扰动，增强模型对时序噪声的鲁棒性。4) 变化抑制模块：通过网格稀疏正则化，抑制不显著的变化。5) 结果优化模块：使用IoU匹配算法，优化变化检测结果。

关键创新：S2C框架的关键创新在于：1) 显式地建模时序差异，而非仅仅关注多时相图像的相似性。2) 引入随机空间和光谱扰动，增强模型对时序噪声的鲁棒性。3) 定义网格稀疏正则化，抑制不显著的变化。

关键设计：在三元组学习中，损失函数的设计至关重要，本文采用了一种改进的三元组损失函数，旨在拉近锚点和正样本之间的距离，同时推远锚点和负样本之间的距离。网格稀疏正则化通过对变化图进行稀疏化处理，抑制不显著的变化。IoU匹配算法通过计算预测变化区域和真实变化区域的IoU，优化变化检测结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

S2C框架在四个基准变化检测数据集上取得了显著的性能提升，超越了当前最先进的方法。具体而言，在这些数据集上，S2C的精度分别提升了超过31%、9%、23%和15%。这些结果表明，S2C框架能够有效地提取多模态遥感图像中的变化信息，并具有良好的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可广泛应用于城市规划、灾害监测、环境评估、农业管理等领域。通过自动检测地表变化，可以为相关决策提供重要依据，例如快速评估地震、洪水等自然灾害的影响范围，监测城市扩张和土地利用变化，以及评估植被覆盖和生态环境状况。未来，该技术有望集成到智能遥感平台中，实现自动化、高效的变化监测。

📄 摘要（原文）

Unsupervised Change Detection (UCD) in multimodal Remote Sensing (RS) images remains a difficult challenge due to the inherent spatio-temporal complexity within data, and the heterogeneity arising from different imaging sensors. Inspired by recent advancements in Visual Foundation Models (VFMs) and Contrastive Learning (CL) methodologies, this research aims to develop CL methodologies to translate implicit knowledge in VFM into change representations, thus eliminating the need for explicit supervision. To this end, we introduce a Semantic-to-Change (S2C) learning framework for UCD in both homogeneous and multimodal RS images. Differently from existing CL methodologies that typically focus on learning multi-temporal similarities, we introduce a novel triplet learning strategy that explicitly models temporal differences, which are crucial to the CD task. Furthermore, random spatial and spectral perturbations are introduced during the training to enhance robustness to temporal noise. In addition, a grid sparsity regularization is defined to suppress insignificant changes, and an IoU-matching algorithm is developed to refine the CD results. Experiments on four benchmark CD datasets demonstrate that the proposed S2C learning framework achieves significant improvements in accuracy, surpassing current state-of-the-art by over 31\%, 9\%, 23\%, and 15\%, respectively. It also demonstrates robustness and sample efficiency, suitable for training and adaptation of various Visual Foundation Models (VFMs) or backbone neural networks. The relevant code will be available at: github.com/DingLei14/S2C.