Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging

📄 arXiv: 2501.01262v1 📥 PDF

作者: Mengjie Qin, Yuchao Feng, Zongliang Wu, Yulun Zhang, Xin Yuan

分类: cs.CV

发布日期: 2025-01-02

备注: 9 pages, 7 figures, AAAI 2025

💡 一句话要点

提出Mamba启发的联合展开网络MiJUN，用于快照光谱压缩成像，提升细节重建能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 高光谱图像重建 深度展开网络 Mamba架构 快照光谱成像 压缩感知

📋 核心要点

  1. 高光谱图像重建面临非线性和病态特性挑战，现有方法在精度和稳定性上存在不足。
  2. 提出Mamba启发的联合展开网络MiJUN，结合物理嵌入DUNs和学习方法，提升重建效果。
  3. 实验结果表明，MiJUN在模拟和真实数据集上均表现出优越性，细节表示能力显著提升。

📝 摘要（中文）

在编码孔径快照光谱成像系统中，深度展开网络(DUNs)在从单个2D测量中恢复3D高光谱图像(HSIs)方面取得了显著进展。然而，HSI重建固有的非线性和病态特性仍然对现有方法的准确性和稳定性提出了挑战。为了解决这个问题，我们提出了一种Mamba启发的联合展开网络(MiJUN)，它将物理嵌入的DUNs与基于学习的HSI成像相结合。首先，利用梯形离散化的概念来扩展展开网络的表示空间，我们引入了一种加速展开网络方案。这种方法可以解释为具有二阶微分方程的广义加速半二次分裂，从而减少了对初始优化阶段的依赖，并解决了与长程交互相关的挑战。至关重要的是，在Mamba框架内，我们通过结合选择性状态空间模型和注意力机制，重构了Mamba启发的全局到局部注意力机制。这有效地将Mamba重新解释为Transformer架构的一种变体，提高了其适应性和效率。此外，我们通过将张量mode-$k$展开集成到Mamba网络中来改进Mamba的扫描策略。这种方法强调了张量沿各种模式的低秩属性，同时方便地促进了12个扫描方向。在模拟和真实数据集上的数值和视觉比较表明，我们提出的MiJUN具有优越性，并实现了压倒性的细节表示。

🔬 方法详解

问题定义：论文旨在解决快照光谱压缩成像中，从单张2D测量图像重建3D高光谱图像(HSI)的问题。现有深度展开网络(DUNs)方法在处理HSI重建固有的非线性和病态特性时，面临精度和稳定性方面的挑战，尤其是在细节恢复方面表现不足。

核心思路：论文的核心思路是将物理模型驱动的深度展开网络与Mamba架构相结合，构建一个联合展开网络(MiJUN)。通过梯形离散化扩展展开网络的表示空间，并利用Mamba架构的全局到局部注意力机制，增强网络对长程依赖关系的建模能力，从而提升HSI重建的精度和细节恢复能力。

技术框架：MiJUN网络主要包含以下几个关键模块：1) 加速展开网络：基于梯形离散化，减少对初始优化阶段的依赖。2) Mamba启发的全局到局部注意力机制：通过选择性状态空间模型和注意力机制，增强对长程依赖的建模。3) 张量mode-$k$展开的Mamba网络：利用张量的低秩特性，改进扫描策略，支持12个扫描方向。整体流程是将2D测量图像输入MiJUN网络，经过多个展开阶段和Mamba模块的处理，最终输出重建的3D高光谱图像。

关键创新：论文的关键创新在于将Mamba架构引入到高光谱图像重建的深度展开网络中。通过重构Mamba的全局到局部注意力机制，并结合张量mode-$k$展开，有效地提升了网络对长程依赖关系的建模能力和对张量低秩特性的利用，从而实现了更精确和细节更丰富的高光谱图像重建。与传统的DUNs方法相比，MiJUN在细节恢复方面具有显著优势。

关键设计：1) 梯形离散化：用于扩展展开网络的表示空间，加速收敛。2) 选择性状态空间模型：用于Mamba架构中，增强对输入信息的选择性处理。3) 张量mode-$k$展开：将张量沿不同模式展开，方便Mamba网络进行扫描和处理，同时利用张量的低秩特性。4) 损失函数：论文未明确提及损失函数，但推测可能使用了重建误差相关的损失函数，例如L1或L2损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MiJUN在模拟和真实数据集上均优于现有方法。论文强调MiJUN实现了“压倒性的细节表示”，但未提供具体的量化指标和对比数据。未来的研究可以进一步提供更详细的性能数据，例如PSNR、SSIM等指标，以及与其他先进方法的定量比较。

🎯 应用场景

该研究成果可应用于遥感图像处理、医学成像、农业监测、环境监测等领域。高光谱图像能够提供丰富的光谱信息，有助于更准确地识别和分析目标。MiJUN的细节重建能力提升，将有助于提高这些应用领域的精度和可靠性，例如更准确地识别农作物病虫害、检测环境污染等。

📄 摘要（原文）

In the coded aperture snapshot spectral imaging system, Deep Unfolding Networks (DUNs) have made impressive progress in recovering 3D hyperspectral images (HSIs) from a single 2D measurement. However, the inherent nonlinear and ill-posed characteristics of HSI reconstruction still pose challenges to existing methods in terms of accuracy and stability. To address this issue, we propose a Mamba-inspired Joint Unfolding Network (MiJUN), which integrates physics-embedded DUNs with learning-based HSI imaging. Firstly, leveraging the concept of trapezoid discretization to expand the representation space of unfolding networks, we introduce an accelerated unfolding network scheme. This approach can be interpreted as a generalized accelerated half-quadratic splitting with a second-order differential equation, which reduces the reliance on initial optimization stages and addresses challenges related to long-range interactions. Crucially, within the Mamba framework, we restructure the Mamba-inspired global-to-local attention mechanism by incorporating a selective state space model and an attention mechanism. This effectively reinterprets Mamba as a variant of the Transformer} architecture, improving its adaptability and efficiency. Furthermore, we refine the scanning strategy with Mamba by integrating the tensor mode-$k$ unfolding into the Mamba network. This approach emphasizes the low-rank properties of tensors along various modes, while conveniently facilitating 12 scanning directions. Numerical and visual comparisons on both simulation and real datasets demonstrate the superiority of our proposed MiJUN, and achieving overwhelming detail representation.