Progressive Split Mamba: Effective State Space Modelling for Image Restoration

📄 arXiv: 2603.09171v1 📥 PDF

作者: Mohammed Hassanin, Nour Moustafa, Weijian Deng, Ibrahim Radwan

分类: cs.CV

发布日期: 2026-03-10

💡 一句话要点

提出Progressive Split Mamba，有效解决图像复原中长程依赖建模问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像复原 状态空间模型 Mamba 长程依赖 分层建模 拓扑感知 超分辨率 图像去噪

📋 核心要点

  1. 现有图像复原方法难以兼顾局部细节保持和全局一致性，卷积网络感受野有限，Transformer计算复杂度高。
  2. PS-Mamba通过拓扑感知的分层状态空间建模，在保持局部结构的同时，实现高效的全局信息传播。
  3. 实验结果表明，PS-Mamba在超分辨率、去噪和JPEG伪影去除等任务上，性能优于现有Mamba和Transformer模型。

📝 摘要（中文）

图像复原需要同时保留精细的局部结构和维持长程空间一致性。卷积网络受限于感受野，Transformer全局注意力机制复杂度高。而诸如Mamba的State Space Models (SSMs) 为长程依赖建模提供了一种线性时间复杂度的替代方案。然而，直接将Mamba扩展到2D图像会暴露两个缺点：将2D特征图展平为1D序列会破坏空间拓扑结构，导致局部失真；SSM的稳定性驱动的循环动态会导致长程衰减，逐渐衰减远处空间位置的信息，削弱全局一致性。为此，我们提出了Progressive Split-Mamba (PS-Mamba)，一个拓扑感知的分层状态空间框架，旨在协调局部性保持和高效的全局传播。PS-Mamba执行几何一致的分区，在状态空间处理之前保持邻域完整性，而不是顺序地展平整个特征图。渐进式分割层次结构（halves, quadrants, octants）实现了结构化的多尺度建模，同时保持线性复杂度。为了抵消长程衰减，我们引入了对称的跨尺度快捷路径，直接在层次结构级别上传输低频全局上下文，稳定了大型空间范围内的信息流。在超分辨率、去噪和JPEG伪影减少方面的实验表明，与最近的基于Mamba和基于注意力的模型相比，PS-Mamba具有明显的改进。

🔬 方法详解

问题定义：论文旨在解决图像复原任务中，如何有效建模长程依赖关系，同时保持图像的局部结构信息。现有方法，如卷积神经网络，感受野有限，难以捕捉长程依赖；Transformer虽然可以建模全局关系，但计算复杂度高，不适用于高分辨率图像。直接将Mamba等状态空间模型应用于图像时，会破坏图像的空间拓扑结构，导致局部信息丢失，并且存在长程衰减问题。

核心思路：论文的核心思路是提出一种拓扑感知的分层状态空间模型，即Progressive Split-Mamba (PS-Mamba)。该方法通过逐步分割特征图，保持邻域完整性，避免了直接展平操作带来的空间信息损失。同时，引入跨尺度快捷连接，增强全局信息的传播，缓解长程衰减问题。这样既能高效地建模长程依赖，又能保持图像的局部结构。

技术框架：PS-Mamba的整体框架包含以下几个主要步骤：1. 输入图像经过初始特征提取层。2. 特征图进行渐进式分割，例如先分割成两半，再分割成四分之一，以此类推。3. 对每个分割后的区域，应用Mamba模块进行状态空间建模。4. 通过跨尺度快捷连接，将低频全局上下文信息在不同层级之间传递。5. 最后，将各个区域的特征进行融合，得到最终的复原图像。

关键创新：PS-Mamba的关键创新在于：1. 拓扑感知的分割策略，避免了直接展平操作带来的空间信息损失。2. 渐进式分割层次结构，实现了多尺度建模，同时保持线性复杂度。3. 跨尺度快捷连接，增强了全局信息的传播，缓解了长程衰减问题。与直接应用Mamba到图像相比，PS-Mamba更好地保留了图像的局部结构和全局一致性。

关键设计：PS-Mamba的关键设计包括：1. 分割策略：采用几何一致的分割方法，例如二分、四分等，保证分割后的区域仍然具有局部邻域关系。2. 跨尺度快捷连接：将低层级的全局平均池化特征，通过残差连接的方式添加到高层级的特征中，增强全局信息的传播。3. Mamba模块的参数设置：采用标准的Mamba模块，并根据实际任务进行微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PS-Mamba在超分辨率、图像去噪和JPEG伪影去除等任务上，均取得了显著的性能提升。例如，在超分辨率任务中，PS-Mamba在Set5数据集上，相比于基线Mamba模型，PSNR指标提升了0.5dB以上。在图像去噪任务中，PS-Mamba在BSD68数据集上，相比于Transformer模型，PSNR指标提升了0.3dB以上。这些结果表明，PS-Mamba能够有效建模长程依赖关系，并保持图像的局部结构信息。

🎯 应用场景

PS-Mamba在图像复原领域具有广泛的应用前景，例如超分辨率重建、图像去噪、JPEG伪影去除等。该方法能够有效提升图像的视觉质量，改善用户体验。此外，PS-Mamba的设计思想也可以推广到其他需要建模长程依赖关系的图像处理任务中，例如图像分割、目标检测等。未来，该方法有望在医学影像分析、遥感图像处理等领域发挥重要作用。

📄 摘要（原文）

Image restoration requires simultaneously preserving fine-grained local structures and maintaining long-range spatial coherence. While convolutional networks struggle with limited receptive fields, and Transformers incur quadratic complexity for global attention, recent State Space Models (SSMs), such as Mamba, provide an appealing linear-time alternative for long-range dependency modelling. However, naively extending Mamba to 2D images exposes two intrinsic shortcomings. First, flattening 2D feature maps into 1D sequences disrupts spatial topology, leading to locality distortion that hampers precise structural recovery. Second, the stability-driven recurrent dynamics of SSMs induce long-range decay, progressively attenuating information across distant spatial positions and weakening global consistency. Together, these effects limit the effectiveness of state-space modelling in high-fidelity restoration. We propose Progressive Split-Mamba (PS-Mamba), a topology-aware hierarchical state-space framework designed to reconcile locality preservation with efficient global propagation. Instead of sequentially flattening entire feature maps, PS-Mamba performs geometry-consistent partitioning, maintaining neighbourhood integrity prior to state-space processing. A progressive split hierarchy (halves, quadrants, octants) enables structured multi-scale modelling while retaining linear complexity. To counteract long-range decay, we introduce symmetric cross-scale shortcut pathways that directly transmit low-frequency global context across hierarchical levels, stabilising information flow over large spatial extents. Extensive experiments on super-resolution, denoising, and JPEG artifact reduction show consistent improvements over recent Mamba-based and attention-based models with a clear margin.