MambaHSI: Spatial-Spectral Mamba for Hyperspectral Image Classification

📄 arXiv: 2501.04944v1 📥 PDF

作者: Yapeng Li, Yong Luo, Lefei Zhang, Zengmao Wang, Bo Du

分类: cs.CV

发布日期: 2025-01-09

备注: accepted by IEEE TGRS

期刊: in IEEE Transactions on Geoscience and Remote Sensing, vol. 62, pp. 1-16, 2024, Art no. 5524216

DOI: 10.1109/TGRS.2024.3430985

🔗 代码/项目: GITHUB

💡 一句话要点

提出MambaHSI，一种基于Mamba模型的空谱联合高光谱图像分类方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像分类 Mamba模型 空间-光谱融合 长距离建模 遥感图像处理

📋 核心要点

  1. Transformer在高光谱图像分类中计算复杂度高，限制了其应用。
  2. MambaHSI利用Mamba模型的线性复杂度优势，设计空谱Mamba块和融合模块，实现高效分类。
  3. 实验结果表明，MambaHSI在多个数据集上优于现有方法，展现了Mamba作为HSI模型骨干的潜力。

📝 摘要（中文）

Transformer在高光谱图像(HSI)分类中得到了广泛应用。然而，由于其二次计算复杂度，Transformer在速度和内存使用方面面临挑战。最近，Mamba模型作为一种有前景的方法出现，它具有强大的长距离建模能力，同时保持线性计算复杂度。然而，由于需要综合的空间和光谱理解，表示HSI对于Mamba来说具有挑战性。为了弥补这些缺点，我们提出了一种基于Mamba的新型HSI分类模型，名为MambaHSI，它可以同时建模整个图像的远程交互，并以自适应的方式整合空间和光谱信息。具体来说，我们设计了一个空间Mamba块(SpaMB)来建模像素级整个图像的远程交互。然后，我们提出了一个光谱Mamba块(SpeMB)来将光谱向量分成多个组，挖掘不同光谱组之间的关系，并提取光谱特征。最后，我们提出了一个空间-光谱融合模块(SSFM)来自适应地整合HSI的空间和光谱特征。据我们所知，这是第一个基于Mamba的图像级HSI分类模型。我们在四个不同的HSI数据集上进行了广泛的实验。结果表明了该模型在HSI分类中的有效性和优越性。这揭示了Mamba作为下一代HSI模型骨干的巨大潜力。

🔬 方法详解

问题定义：高光谱图像分类旨在根据每个像素的光谱特征及其空间上下文信息，将图像中的每个像素分配到预定义的类别中。现有基于Transformer的方法计算复杂度高，难以处理大规模高光谱图像。

核心思路：利用Mamba模型在长序列建模方面的优势，同时考虑高光谱图像的空间和光谱信息。通过设计专门的空间和光谱Mamba块，分别提取空间和光谱特征，并使用融合模块自适应地整合这些特征。

技术框架：MambaHSI模型主要包含三个模块：空间Mamba块(SpaMB)、光谱Mamba块(SpeMB)和空间-光谱融合模块(SSFM)。首先，SpaMB用于建模像素级别的全局空间交互。然后，SpeMB将光谱向量分成多个组，挖掘不同光谱组之间的关系，提取光谱特征。最后，SSFM自适应地融合空间和光谱特征，进行最终的分类。

关键创新：首次将Mamba模型应用于高光谱图像分类，并设计了专门针对高光谱图像特点的空间和光谱Mamba块。通过空间和光谱信息的有效融合，提高了分类精度。

关键设计：SpaMB采用像素级别的全局建模，捕捉长距离空间依赖关系。SpeMB将光谱向量分组处理，降低计算复杂度，同时挖掘不同光谱组之间的关联。SSFM使用自适应权重来融合空间和光谱特征，权重通过学习得到。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MambaHSI在四个不同的高光谱图像数据集上进行了广泛的实验，结果表明其性能优于现有的基于Transformer的方法。具体性能数据未知，但论文强调了MambaHSI在分类精度和计算效率方面的优势，证明了Mamba模型在高光谱图像处理中的潜力。

🎯 应用场景

MambaHSI在高光谱图像分类领域具有广泛的应用前景，例如精准农业、环境监测、地质勘探和城市规划等。通过准确分类地物类型，可以为资源管理、灾害评估和决策支持提供重要信息。该研究有望推动高光谱遥感技术的进一步发展和应用。

📄 摘要（原文）

Transformer has been extensively explored for hyperspectral image (HSI) classification. However, transformer poses challenges in terms of speed and memory usage because of its quadratic computational complexity. Recently, the Mamba model has emerged as a promising approach, which has strong long-distance modeling capabilities while maintaining a linear computational complexity. However, representing the HSI is challenging for the Mamba due to the requirement for an integrated spatial and spectral understanding. To remedy these drawbacks, we propose a novel HSI classification model based on a Mamba model, named MambaHSI, which can simultaneously model long-range interaction of the whole image and integrate spatial and spectral information in an adaptive manner. Specifically, we design a spatial Mamba block (SpaMB) to model the long-range interaction of the whole image at the pixel-level. Then, we propose a spectral Mamba block (SpeMB) to split the spectral vector into multiple groups, mine the relations across different spectral groups, and extract spectral features. Finally, we propose a spatial-spectral fusion module (SSFM) to adaptively integrate spatial and spectral features of a HSI. To our best knowledge, this is the first image-level HSI classification model based on the Mamba. We conduct extensive experiments on four diverse HSI datasets. The results demonstrate the effectiveness and superiority of the proposed model for HSI classification. This reveals the great potential of Mamba to be the next-generation backbone for HSI models. Codes are available at https://github.com/li-yapeng/MambaHSI .