GMSR:Gradient-Guided Mamba for Spectral Reconstruction from RGB Images

📄 arXiv: 2405.07777v2 📥 PDF

作者: Xinying Wang, Zhixiong Huang, Sifan Zhang, Jiawen Zhu, Paolo Gamba, Lin Feng

分类: cs.CV, eess.IV

发布日期: 2024-05-13 (更新: 2024-10-09)

🔗 代码/项目: GITHUB

💡 一句话要点

提出梯度引导的Mamba网络GMSR-Net，用于RGB图像光谱重建，实现精度与效率的平衡。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 光谱重建 Mamba模型 梯度注意力 遥感图像处理 轻量级网络

📋 核心要点

  1. 现有光谱重建方法在长程依赖建模和计算效率上存在瓶颈，限制了其应用。
  2. 提出GMSR-Net，利用Mamba模型的线性复杂度优势，并引入梯度注意力机制引导光谱重建。
  3. 实验结果表明，GMSR-Net在精度上达到SOTA，同时显著降低了参数量和计算量。

📝 摘要（中文）

主流光谱重建（SR）方法主要依赖于卷积和Transformer架构。然而，CNN方法在处理长程依赖时面临挑战，而Transformer则受限于计算效率。最近，状态空间模型（如Mamba）因其近线性的计算效率和卓越性能而备受关注，促使我们研究其在SR问题中的潜力。为此，我们提出了梯度引导的Mamba网络GMSR-Net，用于RGB图像光谱重建。GMSR-Net是一个轻量级模型，具有全局感受野和线性计算复杂度。其核心由多个堆叠的梯度Mamba（GM）块组成，每个块都具有三分支结构。除了受益于Mamba块的高效全局特征表示外，我们还创新性地引入了空间梯度注意力和光谱梯度注意力来指导空间和光谱线索的重建。GMSR-Net展示了显著的精度-效率权衡，在实现最先进性能的同时，显著减少了参数数量和计算负担。与现有方法相比，GMSR-Net的参数和FLOPs分别减少了10倍和20倍。

🔬 方法详解

问题定义：论文旨在解决从RGB图像重建高光谱图像的问题。现有方法，如基于CNN的方法难以捕捉长距离依赖关系，而基于Transformer的方法计算复杂度高，难以应用到高分辨率图像上。因此，需要一种既能有效建模长距离依赖，又能保持计算效率的方法。

核心思路：论文的核心思路是利用Mamba模型的线性计算复杂度优势，并结合梯度注意力机制，引导网络关注空间和光谱上的重要信息，从而实现高效且精确的光谱重建。Mamba模型擅长处理序列数据，可以有效建模光谱通道之间的依赖关系。梯度注意力机制则可以帮助网络聚焦于图像中梯度变化剧烈的区域，这些区域通常包含重要的结构和纹理信息。

技术框架：GMSR-Net主要由多个堆叠的梯度Mamba（GM）块组成。每个GM块采用三分支结构：一个分支使用Mamba模型提取全局特征，另外两个分支分别使用空间梯度注意力和光谱梯度注意力来引导特征提取。网络的输入是RGB图像，输出是重建的高光谱图像。

关键创新：论文的关键创新在于将Mamba模型引入光谱重建任务，并提出了梯度注意力机制。Mamba模型能够以线性复杂度建模长距离依赖，解决了传统CNN和Transformer方法的计算瓶颈。梯度注意力机制则能够引导网络关注图像中的重要信息，提高重建精度。

关键设计：GMSR-Net的关键设计包括：1) 使用堆叠的GM块来逐步提取特征；2) 在GM块中使用Mamba模型进行全局特征提取；3) 使用空间梯度注意力和光谱梯度注意力来引导特征提取；4) 使用L1损失函数来衡量重建误差。具体的参数设置和网络结构细节可以在论文的实验部分找到。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GMSR-Net在光谱重建任务上取得了state-of-the-art的性能，同时显著降低了参数量和计算量。与现有方法相比，GMSR-Net的参数量减少了10倍，FLOPs减少了20倍。实验结果表明，GMSR-Net在多个数据集上均优于其他方法，证明了其在精度和效率上的优势。

🎯 应用场景

该研究成果可应用于遥感图像处理、医学图像分析、农业监测等领域。通过从低成本的RGB图像重建高光谱图像，可以降低数据获取成本，并为后续的图像分析和应用提供更丰富的光谱信息。未来，该方法有望推广到其他图像重建和增强任务中。

📄 摘要（原文）

Mainstream approaches to spectral reconstruction (SR) primarily focus on designing Convolution- and Transformer-based architectures. However, CNN methods often face challenges in handling long-range dependencies, whereas Transformers are constrained by computational efficiency limitations. Recent breakthroughs in state-space model (e.g., Mamba) has attracted significant attention due to its near-linear computational efficiency and superior performance, prompting our investigation into its potential for SR problem. To this end, we propose the Gradient-guided Mamba for Spectral Reconstruction from RGB Images, dubbed GMSR-Net. GMSR-Net is a lightweight model characterized by a global receptive field and linear computational complexity. Its core comprises multiple stacked Gradient Mamba (GM) blocks, each featuring a tri-branch structure. In addition to benefiting from efficient global feature representation by Mamba block, we further innovatively introduce spatial gradient attention and spectral gradient attention to guide the reconstruction of spatial and spectral cues. GMSR-Net demonstrates a significant accuracy-efficiency trade-off, achieving state-of-the-art performance while markedly reducing the number of parameters and computational burdens. Compared to existing approaches, GMSR-Net slashes parameters and FLOPS by substantial margins of 10 times and 20 times, respectively. Code is available at https://github.com/wxy11-27/GMSR.