Sparse Deformable Mamba for Hyperspectral Image Classification

📄 arXiv: 2504.09446v2 📥 PDF

作者: Lincoln Linlin Xu, Yimin Zhu, Zack Dewis, Zhengsen Xu, Motasem Alkayid, Mabel Heffring, Saeid Taleghanidoozdoozan

分类: cs.CV

发布日期: 2025-04-13 (更新: 2025-04-15)

💡 一句话要点

提出稀疏可变形Mamba模型，提升高光谱图像分类精度与效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像分类 Mamba模型 稀疏可变形序列 空间-光谱特征学习 注意力机制 遥感图像分析 深度学习

📋 核心要点

  1. 现有Mamba模型在高光谱图像分类中面临序列构建效率的挑战。
  2. 提出稀疏可变形序列化方法，自适应学习最优序列，降低计算量并保留细节。
  3. 实验结果表明，该方法在精度和细节保持方面优于现有技术，计算成本更低。

📝 摘要（中文）

本文提出了一种用于增强高光谱图像（HSI）分类的稀疏可变形Mamba（SDMamba）方法。该方法的主要贡献包括：首先，设计了一种高效的稀疏可变形序列化（SDS）方法，自适应地学习“最优”序列，从而生成具有增强细节保留和减少计算量的稀疏且可变形的Mamba序列。其次，为了提升空间-光谱特征学习能力，基于SDS设计了稀疏可变形空间Mamba模块（SDSpaM）和稀疏可变形光谱Mamba模块（SDSpeM），分别用于定制化地建模空间信息和光谱信息。最后，为了改善SDSpaM和SDSpeM的融合，设计了一种基于注意力的特征融合方法，以整合两者的输出。在多个基准数据集上进行了测试，结果表明该方法能够以更少的计算量实现更高的精度，并具有更好的小类细节保持能力。

🔬 方法详解

问题定义：高光谱图像分类旨在根据图像中每个像素的光谱特征将其划分到不同的类别。现有的Mamba模型虽然在序列建模方面表现出色，但在处理高光谱图像时，如何高效地构建Mamba序列仍然是一个挑战。传统的序列构建方法可能导致计算量过大，并且难以捕捉到图像中的细节信息。

核心思路：本文的核心思路是通过引入稀疏可变形序列化（SDS）方法，自适应地学习“最优”的Mamba序列。这种方法能够减少计算量，同时保留图像中的细节信息。通过定制化的空间和光谱Mamba模块，更好地建模高光谱图像的空间和光谱特征。

技术框架：该方法主要包含三个模块：稀疏可变形序列化（SDS）模块、稀疏可变形空间Mamba模块（SDSpaM）和稀疏可变形光谱Mamba模块（SDSpeM）。首先，SDS模块用于生成稀疏且可变形的Mamba序列。然后，SDSpaM和SDSpeM分别用于建模空间信息和光谱信息。最后，通过基于注意力的特征融合方法，将SDSpaM和SDSpeM的输出进行整合，得到最终的分类结果。

关键创新：该方法最重要的技术创新点在于稀疏可变形序列化（SDS）方法。与传统的固定序列构建方法不同，SDS能够自适应地学习“最优”的序列，从而减少计算量，同时保留图像中的细节信息。此外，定制化的空间和光谱Mamba模块也能够更好地建模高光谱图像的特征。

关键设计：SDS模块的具体实现细节未知，但可以推测其可能涉及到可学习的采样策略或注意力机制，以确定哪些像素或光谱通道应该被包含在Mamba序列中。基于注意力的特征融合方法可能采用标准的注意力机制，例如自注意力或交叉注意力，以学习不同模块输出的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的SDMamba方法在多个基准数据集上取得了优于现有技术的性能。具体而言，该方法在精度方面有所提升，同时计算量显著减少。此外，该方法还展现出更好的小类细节保持能力，这意味着它能够更准确地识别图像中占比较小的地物类型。

🎯 应用场景

该研究成果可应用于遥感图像分析、精准农业、环境监测、地质勘探等领域。通过提高高光谱图像分类的精度和效率，可以更准确地识别地物类型、评估农作物健康状况、监测环境污染程度等，为相关领域的决策提供更可靠的依据。

📄 摘要（原文）

Although Mamba models significantly improve hyperspectral image (HSI) classification, one critical challenge is the difficulty in building the sequence of Mamba tokens efficiently. This paper presents a Sparse Deformable Mamba (SDMamba) approach for enhanced HSI classification, with the following contributions. First, to enhance Mamba sequence, an efficient Sparse Deformable Sequencing (SDS) approach is designed to adaptively learn the ''optimal" sequence, leading to sparse and deformable Mamba sequence with increased detail preservation and decreased computations. Second, to boost spatial-spectral feature learning, based on SDS, a Sparse Deformable Spatial Mamba Module (SDSpaM) and a Sparse Deformable Spectral Mamba Module (SDSpeM) are designed for tailored modeling of the spatial information spectral information. Last, to improve the fusion of SDSpaM and SDSpeM, an attention based feature fusion approach is designed to integrate the outputs of the SDSpaM and SDSpeM. The proposed method is tested on several benchmark datasets with many state-of-the-art approaches, demonstrating that the proposed approach can achieve higher accuracy with less computation, and better detail small-class preservation capability.