MambaMoE: Mixture-of-Spectral-Spatial-Experts State Space Model for Hyperspectral Image Classification

📄 arXiv: 2504.20509v2 📥 PDF

作者: Yichu Xu, Di Wang, Hongzan Jiao, Lefei Zhang, Liangpei Zhang

分类: cs.CV

发布日期: 2025-04-29 (更新: 2025-10-06)

备注: Accepted by Information Fusion

🔗 代码/项目: GITHUB

💡 一句话要点

提出MambaMoE，利用混合专家模型进行高光谱图像分类，提升精度和效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像分类 混合专家模型 Mamba 状态空间模型 不确定性学习 遥感图像处理 光谱-空间特征 自适应建模

📋 核心要点

  1. 现有基于Mamba的高光谱图像分类方法忽略了不同地物类型建模的异质性，限制了分类性能。
  2. MambaMoE通过混合Mamba专家块（MoMEB）和不确定性引导的校正学习（UGCL）策略，实现自适应光谱-空间特征建模。
  3. 实验表明，MambaMoE在多个高光谱图像数据集上实现了优于现有方法的分类精度和计算效率。

📝 摘要（中文）

本文提出了一种新颖的基于Mamba的混合专家（MoE）框架MambaMoE，用于高光谱图像（HSI）分类，这是HSI分类领域中首个基于MoE的方法。MambaMoE旨在解决现有基于Mamba的方法忽略了不同地物类型之间的方向建模异质性的问题，从而限制了分类性能。具体来说，我们设计了一个混合Mamba专家块（MoMEB），它通过稀疏专家激活机制执行自适应光谱-空间特征建模。此外，我们引入了一种不确定性引导的校正学习（UGCL）策略，该策略鼓励模型关注容易出现预测模糊的复杂区域。该策略动态地从具有高预测不确定性的区域采样监督信号，引导模型自适应地细化特征表示，从而增强其对具有挑战性区域的关注。在多个公共HSI基准数据集上进行的大量实验表明，与现有的先进方法（特别是基于Mamba的方法）相比，MambaMoE在分类精度和计算效率方面均实现了最先进的性能。代码将在https://github.com/YichuXu/MambaMoE上提供。

🔬 方法详解

问题定义：高光谱图像分类旨在根据像素的光谱特征识别地物类型。现有基于Mamba的方法虽然在计算效率上有所提升，但忽略了不同地物类型在方向建模上的差异，导致分类精度受限。这些方法无法根据不同区域的特性自适应地调整建模方式，尤其是在复杂区域容易产生预测模糊。

核心思路：MambaMoE的核心思路是利用混合专家模型（MoE）来解决不同地物类型建模异质性的问题。通过MoE，模型可以根据输入数据的特性，动态地选择不同的专家网络进行处理，从而实现自适应的特征建模。此外，引入不确定性引导的校正学习策略，使模型更加关注预测不确定性高的区域，提升模型在复杂区域的分类能力。

技术框架：MambaMoE的整体框架包含以下几个主要模块：1) 输入高光谱图像数据；2) 通过混合Mamba专家块（MoMEB）进行特征提取，MoMEB包含多个Mamba专家网络和一个门控网络，门控网络根据输入数据动态选择激活的专家；3) 使用不确定性引导的校正学习（UGCL）策略，根据预测的不确定性动态调整训练样本的权重；4) 输出分类结果。

关键创新：MambaMoE的关键创新在于：1) 首次将混合专家模型（MoE）引入高光谱图像分类领域，解决了不同地物类型建模异质性的问题；2) 设计了混合Mamba专家块（MoMEB），将Mamba模型的线性计算复杂度与MoE的自适应建模能力相结合；3) 提出了不确定性引导的校正学习（UGCL）策略，使模型更加关注预测不确定性高的区域。与现有方法相比，MambaMoE能够更有效地利用高光谱图像的光谱-空间信息，提升分类精度。

关键设计：MoMEB包含多个Mamba专家网络，每个专家网络负责处理特定类型的地物特征。门控网络采用Softmax函数，根据输入数据的特征计算每个专家的激活概率。UGCL策略通过计算预测结果的熵来衡量不确定性，并根据不确定性调整训练样本的权重。损失函数采用交叉熵损失，并根据UGCL策略进行加权。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MambaMoE在多个公共高光谱图像数据集上取得了state-of-the-art的性能。例如，在Indian Pines数据集上，MambaMoE的总体精度（OA）达到了98.7%，Kappa系数达到了98.5%，显著优于现有的基于Mamba和其他深度学习方法。同时，MambaMoE在计算效率方面也具有优势，相比于传统的卷积神经网络，其计算复杂度更低。

🎯 应用场景

MambaMoE在高光谱图像分类领域具有广泛的应用前景，例如精准农业、环境监测、地质勘探和城市规划等。通过准确识别地物类型，可以为农作物生长监测、污染源识别、矿产资源评估和城市土地利用规划提供重要信息，具有重要的实际应用价值和经济效益。未来，该方法可以进一步扩展到其他遥感图像处理任务中。

📄 摘要（原文）

Mamba-based models have recently demonstrated significant potential in hyperspectral image (HSI) classification, primarily due to their ability to perform contextual modeling with linear computational complexity. However, existing Mamba-based approaches often overlook the directional modeling heterogeneity across different land-cover types, leading to limited classification performance. To address these limitations, we propose MambaMoE, a novel spectral-spatial Mixture-of-Experts (MoE) framework, which represents the first MoE-based approach in the HSI classification domain. Specifically, we design a Mixture of Mamba Expert Block (MoMEB) that performs adaptive spectral-spatial feature modeling via a sparse expert activation mechanism. Additionally, we introduce an uncertainty-guided corrective learning (UGCL) strategy that encourages the model to focus on complex regions prone to prediction ambiguity. This strategy dynamically samples supervision signals from regions with high predictive uncertainty, guiding the model to adaptively refine feature representations and thereby enhancing its focus on challenging areas. Extensive experiments conducted on multiple public HSI benchmark datasets show that MambaMoE achieves state-of-the-art performance in both classification accuracy and computational efficiency compared to existing advanced methods, particularly Mamba-based ones. The code will be available online at https://github.com/YichuXu/MambaMoE.