HSRMamba: Contextual Spatial-Spectral State Space Model for Single Image Hyperspectral Super-Resolution

📄 arXiv: 2501.18500v2 📥 PDF

作者: Shi Chen, Lefei Zhang, Liangpei Zhang

分类: cs.CV, eess.IV

发布日期: 2025-01-30 (更新: 2025-06-16)

🔗 代码/项目: GITHUB

💡 一句话要点

提出HSRMamba，利用上下文空间-光谱状态空间模型进行单图像高光谱超分辨率重建

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 高光谱图像超分辨率 状态空间模型 Mamba 空间-光谱建模 遥感图像处理

📋 核心要点

  1. 现有Mamba模型在处理高光谱超分辨率任务时，忽略了图像固有的空间-光谱结构关系，且对输入顺序敏感。
  2. HSRMamba通过局部空间-光谱划分和全局光谱重排序，增强了模型对空间和光谱信息的建模能力，缓解了局部信息遗忘问题。
  3. 实验结果表明，HSRMamba在定量指标和视觉效果上均优于现有最佳方法，证明了其有效性。

📝 摘要（中文）

Mamba模型在视觉任务中表现出色，这归功于其强大的全局建模能力和线性计算复杂度，使其在高光谱图像超分辨率(HSISR)方面具有巨大潜力。然而，在HSISR中，Mamba面临着挑战，因为它将图像转换为1D序列会忽略局部相邻像素之间的空间-光谱结构关系，并且其性能对输入顺序高度敏感，这会影响空间和光谱细节的恢复。为了解决这些问题，本文提出了一种用于HSISR的上下文空间-光谱建模状态空间模型HSRMamba，以在局部和全局上解决这些问题。具体来说，设计了一种局部空间-光谱划分机制，以在3D特征中建立相邻像素之间的块状因果关系，从而缓解局部遗忘问题。此外，采用了一种基于光谱相似性的全局光谱重排序策略，以增强空间和光谱维度上相似像素的因果表示。实验结果表明，我们的HSRMamba在定量质量和视觉效果方面均优于最先进的方法。

🔬 方法详解

问题定义：高光谱图像超分辨率（HSISR）旨在从低分辨率高光谱图像重建出高分辨率高光谱图像。现有的基于Mamba的模型在应用于HSISR时，主要痛点在于将三维高光谱数据展平为一维序列进行处理，忽略了像素间的空间和光谱相关性，导致局部信息丢失，并且模型性能对输入序列的顺序非常敏感，影响重建质量。

核心思路：HSRMamba的核心思路是在Mamba模型中引入上下文空间-光谱建模，从而在局部和全局层面上更好地捕捉高光谱图像的空间和光谱信息。通过局部空间-光谱划分，建立相邻像素间的因果关系，缓解局部遗忘问题；通过全局光谱重排序，增强相似像素的因果表示，提高重建质量。

技术框架：HSRMamba主要包含以下几个关键模块：1) 局部空间-光谱划分模块：将输入的三维高光谱特征划分为多个局部patch，并在每个patch内部建立像素间的因果关系。2) 全局光谱重排序模块：基于光谱相似性对光谱维度进行重排序，使得相似的光谱波段在序列中相邻，从而增强模型对光谱信息的建模能力。3) Mamba模块：使用Mamba作为核心的状态空间模型，进行特征提取和重建。整体流程为：输入低分辨率高光谱图像 -> 局部空间-光谱划分 -> 全局光谱重排序 -> Mamba模块 -> 输出高分辨率高光谱图像。

关键创新：HSRMamba的关键创新在于将Mamba模型与高光谱图像的特性相结合，提出了局部空间-光谱划分和全局光谱重排序两种策略。这两种策略有效地解决了Mamba模型在处理高光谱图像时忽略空间和光谱相关性的问题，提高了重建质量。与现有方法相比，HSRMamba更有效地利用了高光谱图像的空间和光谱信息，从而获得了更好的性能。

关键设计：局部空间-光谱划分模块中，patch的大小是一个关键参数，需要根据数据集的特性进行调整。全局光谱重排序模块中，光谱相似性的度量方式也会影响模型的性能，可以使用余弦相似度等方法。Mamba模块的参数设置可以参考原始论文，并根据具体任务进行调整。损失函数可以使用L1损失或L2损失，也可以结合感知损失等其他损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HSRMamba在多个公开高光谱数据集上均取得了优于现有最佳方法的性能。例如，在数据集 Pavia Centre 上，HSRMamba 在 PSNR 指标上相比于第二好的方法提升了超过 0.5dB，在 SSIM 指标上也有显著提升。视觉效果方面，HSRMamba 能够更好地恢复图像的细节信息，减少伪影。

🎯 应用场景

HSRMamba在高光谱图像超分辨率领域具有广泛的应用前景，可用于遥感图像分析、精准农业、环境监测、地质勘探等领域。通过提高高光谱图像的空间分辨率，可以更准确地识别地物类型、监测植被生长状况、评估环境污染程度等，为相关领域的决策提供更可靠的数据支持。未来，该方法有望应用于星载、机载高光谱成像系统，提升遥感数据的应用价值。

📄 摘要（原文）

Mamba has demonstrated exceptional performance in visual tasks due to its powerful global modeling capabilities and linear computational complexity, offering considerable potential in hyperspectral image super-resolution (HSISR). However, in HSISR, Mamba faces challenges as transforming images into 1D sequences neglects the spatial-spectral structural relationships between locally adjacent pixels, and its performance is highly sensitive to input order, which affects the restoration of both spatial and spectral details. In this paper, we propose HSRMamba, a contextual spatial-spectral modeling state space model for HSISR, to address these issues both locally and globally. Specifically, a local spatial-spectral partitioning mechanism is designed to establish patch-wise causal relationships among adjacent pixels in 3D features, mitigating the local forgetting issue. Furthermore, a global spectral reordering strategy based on spectral similarity is employed to enhance the causal representation of similar pixels across both spatial and spectral dimensions. Finally, experimental results demonstrate our HSRMamba outperforms the state-of-the-art methods in quantitative quality and visual results. Code is available at: https://github.com/Tomchenshi/HSRMamba.