IGroupSS-Mamba: Interval Group Spatial-Spectral Mamba for Hyperspectral Image Classification

📄 arXiv: 2410.05100v1 📥 PDF

作者: Yan He, Bing Tu, Puzhao Jiang, Bo Liu, Jun Li, Antonio Plaza

分类: cs.CV, eess.IV

发布日期: 2024-10-07

💡 一句话要点

提出IGroupSS-Mamba框架，用于高光谱图像分类，提升性能与效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像分类 Mamba模型 选择性状态空间模型 空间-光谱特征提取 遥感图像处理

📋 核心要点

  1. 高光谱图像分类面临高维度和信息冗余的挑战，传统Mamba模型应用受限，性能和效率有待提升。
  2. 提出间隔组空间-光谱Mamba框架，核心是间隔组S6机制，通过分组和分层方式提取全局空间-光谱信息。
  3. 实验结果表明，提出的IGroupSS-Mamba框架在高光谱图像分类任务上优于现有先进方法。

📝 摘要（中文）

本文提出了一种轻量级的间隔组空间-光谱Mamba框架（IGroupSS-Mamba），用于高光谱图像（HSI）分类。该框架通过分组和分层的方式提取多方向和多尺度的全局空间-光谱信息。核心是间隔组S6机制（IGSM），它将高维特征以间隔方式划分为多个非重叠组，并为每个组集成具有特定扫描方向的单向S6，以实现非冗余序列建模。与传统的多方向扫描相比，该分组策略利用了不同扫描方向的互补优势，同时降低了计算成本。为了充分捕获空间-光谱上下文信息，引入了间隔组空间-光谱块（IGSSB），其中两个基于IGSM的空间和光谱算子级联，分别表征沿空间和光谱维度的全局空间-光谱关系。IGroupSS-Mamba构建为由多个IGSSB块堆叠的分层结构，集成了基于像素聚合的下采样策略，用于从浅层到深层进行多尺度空间-光谱语义学习。大量实验表明，IGroupSS-Mamba优于最先进的方法。

🔬 方法详解

问题定义：高光谱图像（HSI）分类任务中，由于高光谱数据维度高、信息冗余，直接应用Mamba模型会面临计算效率低和性能欠佳的问题。现有方法难以有效提取高光谱图像中的全局空间-光谱信息，且计算复杂度较高。

核心思路：论文的核心思路是通过分组和分层的方式，设计一种轻量级的Mamba框架，以更有效地提取高光谱图像中的全局空间-光谱信息。通过间隔分组策略，降低计算成本，并利用不同扫描方向的互补优势。

技术框架：IGroupSS-Mamba框架由多个间隔组空间-光谱块（IGSSB）堆叠而成，形成一个分层结构。每个IGSSB包含两个基于间隔组S6机制（IGSM）的空间和光谱算子，分别用于提取空间和光谱维度上的全局信息。框架还采用了基于像素聚合的下采样策略，用于实现多尺度空间-光谱语义学习。整体流程是从浅层到深层逐步提取特征，最终进行分类。

关键创新：论文的关键创新在于提出了间隔组S6机制（IGSM），该机制将高维特征以间隔方式划分为多个非重叠组，并为每个组集成具有特定扫描方向的单向S6。这种分组策略降低了计算复杂度，并允许模型利用不同扫描方向的互补信息。此外，IGSSB块的设计也有效地结合了空间和光谱信息。

关键设计：IGSM机制中的分组间隔大小是一个关键参数，需要根据具体数据集进行调整。像素聚合下采样策略的具体实现方式（例如，使用平均池化或最大池化）也会影响性能。损失函数通常采用交叉熵损失函数，用于训练分类器。网络层数和每层通道数等超参数需要根据数据集大小和计算资源进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的IGroupSS-Mamba框架在高光谱图像分类任务上取得了优于现有最先进方法的性能。具体性能数据未在摘要中给出，但强调了其超越现有技术的优势。该框架在提升分类精度的同时，降低了计算复杂度，更具实用性。

🎯 应用场景

该研究成果可应用于遥感领域，例如地物分类、农作物监测、环境监测和灾害评估等。通过更准确地分类高光谱图像，可以为相关领域的决策提供更可靠的信息支持，具有重要的实际应用价值和潜力。未来可进一步探索其在其他遥感图像处理任务中的应用。

📄 摘要（原文）

Hyperspectral image (HSI) classification has garnered substantial attention in remote sensing fields. Recent Mamba architectures built upon the Selective State Space Models (S6) have demonstrated enormous potential in long-range sequence modeling. However, the high dimensionality of hyperspectral data and information redundancy pose challenges to the application of Mamba in HSI classification, suffering from suboptimal performance and computational efficiency. In light of this, this paper investigates a lightweight Interval Group Spatial-Spectral Mamba framework (IGroupSS-Mamba) for HSI classification, which allows for multi-directional and multi-scale global spatial-spectral information extraction in a grouping and hierarchical manner. Technically, an Interval Group S6 Mechanism (IGSM) is developed as the core component, which partitions high-dimensional features into multiple non-overlapping groups at intervals, and then integrates a unidirectional S6 for each group with a specific scanning direction to achieve non-redundant sequence modeling. Compared to conventional applying multi-directional scanning to all bands, this grouping strategy leverages the complementary strengths of different scanning directions while decreasing computational costs. To adequately capture the spatial-spectral contextual information, an Interval Group Spatial-Spectral Block (IGSSB) is introduced, in which two IGSM-based spatial and spectral operators are cascaded to characterize the global spatial-spectral relationship along the spatial and spectral dimensions, respectively. IGroupSS-Mamba is constructed as a hierarchical structure stacked by multiple IGSSB blocks, integrating a pixel aggregation-based downsampling strategy for multiscale spatial-spectral semantic learning from shallow to deep stages. Extensive experiments demonstrate that IGroupSS-Mamba outperforms the state-of-the-art methods.