3DSS-Mamba: 3D-Spectral-Spatial Mamba for Hyperspectral Image Classification
作者: Yan He, Bing Tu, Bo Liu, Jun Li, Antonio Plaza
分类: cs.CV, eess.IV
发布日期: 2024-05-21 (更新: 2024-08-08)
💡 一句话要点
提出3DSS-Mamba，用于高光谱图像分类，提升长程依赖建模效率。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting)
关键词: 高光谱图像分类 Mamba架构 状态空间模型 选择性扫描 长程依赖建模
📋 核心要点
- 现有CNN感受野有限，Transformer计算复杂度高，难以有效建模高光谱图像的长程光谱-空间依赖。
- 提出3DSS-Mamba框架，利用Mamba架构的高效长程建模能力，结合3D选择性扫描机制，提取全局光谱-空间特征。
- 实验结果表明，3DSS-Mamba在多个高光谱图像分类基准数据集上超越了现有最优方法，验证了其有效性。
📝 摘要（中文）
高光谱图像（HSI）分类是遥感领域的基础研究。卷积神经网络（CNN）和Transformer在捕获光谱-空间上下文依赖方面表现出强大的能力。然而，这些架构分别受到有限感受野和二次计算复杂度的限制。幸运的是，最近基于状态空间模型的Mamba架构融合了长程序列建模和线性计算效率的优点，在低维场景中展现出巨大的潜力。受此启发，我们提出了一种新的3D-光谱-空间Mamba（3DSS-Mamba）框架用于HSI分类，允许以更高的计算效率进行全局光谱-空间关系建模。在技术上，设计了一个光谱-空间令牌生成（SSTG）模块，将HSI立方体转换为一组3D光谱-空间令牌。为了克服传统Mamba的局限性（仅限于对因果序列建模且不适用于高维场景），引入了一种3D-光谱-空间选择性扫描（3DSS）机制，该机制沿着光谱和空间维度对3D高光谱令牌执行像素级的选择性扫描。构建了五个扫描路径，以研究维度优先级的影响。3DSS扫描机制与传统映射操作相结合，形成3D-光谱-空间mamba块（3DMB），从而能够提取全局光谱-空间语义表示。实验结果和分析表明，所提出的方法在HSI分类基准上优于最先进的方法。
🔬 方法详解
问题定义：高光谱图像分类旨在根据图像中每个像素的光谱特征将其划分为不同的类别。现有的CNN方法感受野有限，难以捕捉长程依赖关系；Transformer方法计算复杂度高，难以处理高光谱图像的高维数据。因此，如何高效地建模高光谱图像中的全局光谱-空间关系是一个关键问题。
核心思路：论文的核心思路是利用Mamba架构在长程序列建模方面的优势，并结合3D选择性扫描机制，以高效的方式提取高光谱图像的全局光谱-空间特征。通过将高光谱图像转换为3D光谱-空间令牌，并使用Mamba块进行处理，可以有效地捕捉光谱和空间维度上的依赖关系。
技术框架：3DSS-Mamba框架主要包括以下几个模块：1) 光谱-空间令牌生成（SSTG）模块：将原始高光谱图像立方体转换为一组3D光谱-空间令牌。2) 3D-光谱-空间Mamba块（3DMB）：由3D选择性扫描（3DSS）机制和传统映射操作组成，用于提取全局光谱-空间语义表示。3) 分类器：将3DMB提取的特征用于像素级别的分类。整个流程是将高光谱图像输入SSTG模块，生成令牌，然后通过多个3DMB进行特征提取，最后使用分类器进行分类。
关键创新：论文的关键创新在于提出了3D-光谱-空间选择性扫描（3DSS）机制。传统的Mamba模型主要用于处理一维序列数据，而高光谱图像是三维数据。3DSS机制通过沿着光谱和空间维度进行像素级的选择性扫描，克服了传统Mamba的局限性，使其能够有效地处理高光谱图像。此外，论文还探索了不同的扫描路径，以研究维度优先级的影响。
关键设计：3DSS机制的关键设计在于五个不同的扫描路径，分别考虑了不同的维度优先级。这些扫描路径包括先扫描光谱维度、先扫描空间维度等。通过比较不同扫描路径的性能，可以了解不同维度对分类结果的影响。此外，论文还使用了标准的交叉熵损失函数进行训练，并采用Adam优化器进行参数更新。具体的网络结构参数（如Mamba块的数量、隐藏层维度等）需要在实验中进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，3DSS-Mamba在Indian Pines、Pavia University和Salinas Valley等多个高光谱图像分类基准数据集上取得了优于现有最优方法的性能。例如，在Indian Pines数据集上，3DSS-Mamba的总体精度（OA）比现有最优方法提高了超过2个百分点，表明了其在HSI分类任务上的有效性。
🎯 应用场景
该研究成果可广泛应用于遥感图像分析领域，例如地物分类、农作物监测、环境监测、灾害评估等。通过更准确地识别地物类型，可以为土地利用规划、农业生产管理、环境保护等提供决策支持。未来，该方法有望应用于更大规模、更高分辨率的高光谱图像处理，为更精细化的遥感应用提供技术支撑。
📄 摘要（原文）
Hyperspectral image (HSI) classification constitutes the fundamental research in remote sensing fields. Convolutional Neural Networks (CNNs) and Transformers have demonstrated impressive capability in capturing spectral-spatial contextual dependencies. However, these architectures suffer from limited receptive fields and quadratic computational complexity, respectively. Fortunately, recent Mamba architectures built upon the State Space Model integrate the advantages of long-range sequence modeling and linear computational efficiency, exhibiting substantial potential in low-dimensional scenarios. Motivated by this, we propose a novel 3D-Spectral-Spatial Mamba (3DSS-Mamba) framework for HSI classification, allowing for global spectral-spatial relationship modeling with greater computational efficiency. Technically, a spectral-spatial token generation (SSTG) module is designed to convert the HSI cube into a set of 3D spectral-spatial tokens. To overcome the limitations of traditional Mamba, which is confined to modeling causal sequences and inadaptable to high-dimensional scenarios, a 3D-Spectral-Spatial Selective Scanning (3DSS) mechanism is introduced, which performs pixel-wise selective scanning on 3D hyperspectral tokens along the spectral and spatial dimensions. Five scanning routes are constructed to investigate the impact of dimension prioritization. The 3DSS scanning mechanism combined with conventional mapping operations forms the 3D-spectral-spatial mamba block (3DMB), enabling the extraction of global spectral-spatial semantic representations. Experimental results and analysis demonstrate that the proposed method outperforms the state-of-the-art methods on HSI classification benchmarks.