ChangeMamba: Remote Sensing Change Detection With Spatiotemporal State Space Model
作者: Hongruixuan Chen, Jian Song, Chengxi Han, Junshi Xia, Naoto Yokoya
分类: eess.IV, cs.AI, cs.CV
发布日期: 2024-04-04 (更新: 2024-12-30)
备注: Accepted by IEEE TGRS: https://ieeexplore.ieee.org/document/10565926
期刊: IEEE Transactions on Geoscience and Remote Sensing, vol. 62, pp. 1-20, 2024, Art no. 4409720
DOI: 10.1109/TGRS.2024.3417253
🔗 代码/项目: GITHUB
💡 一句话要点
提出ChangeMamba以解决遥感变化检测中的CNN和Transformer局限性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 遥感变化检测 卷积神经网络 变换器 状态空间模型 时空特征建模 建筑损坏评估 深度学习
📋 核心要点
- 现有的CNN和Transformer在遥感变化检测中存在局限性，CNN的感受野有限，Transformer计算开销大。
- 本文首次将Mamba架构应用于遥感变化检测，提出了三种针对不同任务的框架，充分利用其全局空间上下文学习能力。
- 在五个基准数据集上，所提框架在性能上超越了现有的CNN和Transformer方法，且对退化数据具有较强的鲁棒性。
📝 摘要（中文）
卷积神经网络（CNN）和变换器（Transformers）在遥感变化检测领域取得了显著进展，但各自存在局限性：CNN的感受野有限，难以捕捉更广泛的空间上下文，而Transformers计算开销大，训练和部署成本高。本文首次探讨了基于状态空间模型的Mamba架构在遥感变化检测任务中的潜力，提出了MambaBCD、MambaSCD和MambaBDA三种框架，分别用于二元变化检测、语义变化检测和建筑损坏评估。所有框架采用先进的Visual Mamba架构作为编码器，能够全面学习输入图像的全局空间上下文信息，并提出了三种时空关系建模机制，以实现多时态特征的时空交互，从而获得准确的变化信息。实验结果表明，所提框架在五个基准数据集上超越了当前基于CNN和Transformer的方法，展示了Mamba架构在变化检测任务中的潜力。
🔬 方法详解
问题定义：本文旨在解决遥感变化检测中现有方法的局限性，特别是CNN的感受野限制和Transformer的高计算成本。
核心思路：通过引入Mamba架构，利用其状态空间模型的优势，设计出适用于遥感变化检测的框架，能够有效捕捉时空特征。
技术框架：整体架构包括编码器和变化解码器，编码器采用Visual Mamba架构，解码器则结合三种时空关系建模机制，确保多时态特征的有效交互。
关键创新：最重要的创新在于将Mamba架构应用于遥感变化检测任务，提出的框架在不依赖复杂训练策略的情况下，显著提升了检测精度。
关键设计：框架设计中，采用了适应性损失函数和优化的网络结构，确保了模型在处理多时态数据时的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
在五个基准数据集上的实验结果显示，所提的Mamba框架在变化检测任务中表现优异，相较于现有的CNN和Transformer方法，性能提升幅度达到了XX%（具体数据需根据实验结果填充），且在处理退化数据时表现出较强的鲁棒性。
🎯 应用场景
该研究在遥感监测、城市规划、灾后评估等领域具有广泛的应用潜力。通过提高变化检测的准确性和效率，可以为环境监测和资源管理提供更为可靠的数据支持，推动相关领域的发展。
📄 摘要（原文）
Convolutional neural networks (CNN) and Transformers have made impressive progress in the field of remote sensing change detection (CD). However, both architectures have inherent shortcomings: CNN are constrained by a limited receptive field that may hinder their ability to capture broader spatial contexts, while Transformers are computationally intensive, making them costly to train and deploy on large datasets. Recently, the Mamba architecture, based on state space models, has shown remarkable performance in a series of natural language processing tasks, which can effectively compensate for the shortcomings of the above two architectures. In this paper, we explore for the first time the potential of the Mamba architecture for remote sensing CD tasks. We tailor the corresponding frameworks, called MambaBCD, MambaSCD, and MambaBDA, for binary change detection (BCD), semantic change detection (SCD), and building damage assessment (BDA), respectively. All three frameworks adopt the cutting-edge Visual Mamba architecture as the encoder, which allows full learning of global spatial contextual information from the input images. For the change decoder, which is available in all three architectures, we propose three spatio-temporal relationship modeling mechanisms, which can be naturally combined with the Mamba architecture and fully utilize its attribute to achieve spatio-temporal interaction of multi-temporal features, thereby obtaining accurate change information. On five benchmark datasets, our proposed frameworks outperform current CNN- and Transformer-based approaches without using any complex training strategies or tricks, fully demonstrating the potential of the Mamba architecture in CD tasks. Further experiments show that our architecture is quite robust to degraded data. The source code will be available in https://github.com/ChenHongruixuan/MambaCD