Hi-Mamba: Hierarchical Mamba for Efficient Image Super-Resolution

📄 arXiv: 2410.10140v1 📥 PDF

作者: Junbo Qiao, Jincheng Liao, Wei Li, Yulun Zhang, Yong Guo, Yi Wen, Zhangxizi Qiu, Jiao Xie, Jie Hu, Shaohui Lin

分类: cs.CV

发布日期: 2024-10-14

💡 一句话要点

Hi-Mamba：用于高效图像超分辨率的分层Mamba网络

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 图像超分辨率 状态空间模型 Mamba 分层网络 单向扫描

📋 核心要点

  1. 现有SSM方法在图像超分辨率任务中，为弥补空间依赖性损失，需进行多方向扫描，计算开销大，难以处理高分辨率图像。
  2. Hi-Mamba通过分层Mamba块（HMB）和方向交替层次Mamba组（DA-HMG），在单向扫描的基础上，聚合多尺度表示并丰富空间关系建模。
  3. 实验结果表明，Hi-Mamba在图像超分辨率任务中，相较于MambaIR等基线方法，在PSNR等指标上取得了显著提升，验证了其有效性。

📝 摘要（中文）

本文提出了一种新颖的分层Mamba网络Hi-Mamba，用于图像超分辨率（SR）。Mamba等状态空间模型（SSM）在线性复杂度下表现出强大的长程依赖建模能力，已成功应用于从高层到低层的视觉任务。然而，SSM的顺序特性需要在不同方向上进行多次扫描，以弥补将图像展开为一维序列时空间依赖性的损失。这种多方向扫描策略显著增加了计算开销，对于高分辨率图像处理来说是难以承受的。Hi-Mamba包含两个关键设计：（1）由局部SSM（L-SSM）和区域SSM（R-SSM）组成的层次Mamba块（HMB），两者都采用单向扫描，聚合多尺度表示以增强上下文建模能力。（2）方向交替层次Mamba组（DA-HMG）将同构的单向扫描分配到级联的HMB中，以丰富空间关系建模。大量实验表明，Hi-Mamba在五个基准数据集上具有优越的SR效率。例如，与强大的轻量级MambaIR相比，Hi-Mamba在Manga109数据集上实现了0.29 dB的PSNR显著提升（$ imes3$ SR）。

🔬 方法详解

问题定义：论文旨在解决图像超分辨率任务中，基于状态空间模型（SSM）的方法，特别是Mamba，由于其序列化处理方式导致计算复杂度过高的问题。现有方法需要多方向扫描图像以捕捉空间依赖关系，这在高分辨率图像处理中变得难以承受。

核心思路：论文的核心思路是利用分层结构来降低计算复杂度，同时保持甚至增强模型对空间信息的建模能力。通过局部和区域的SSM处理，以及方向交替的扫描策略，模型能够在单向扫描的基础上，有效地聚合多尺度信息，并学习到丰富的空间关系。

技术框架：Hi-Mamba的网络架构主要由两个关键模块组成：层次Mamba块（HMB）和方向交替层次Mamba组（DA-HMG）。HMB包含局部SSM（L-SSM）和区域SSM（R-SSM），分别处理局部和区域的上下文信息。DA-HMG则将多个HMB级联起来，并通过交替扫描方向来进一步增强空间建模能力。整个网络以这些模块为基础，构建一个高效且强大的图像超分辨率模型。

关键创新：Hi-Mamba的关键创新在于其分层结构和方向交替扫描策略。传统SSM方法通常需要多方向扫描，而Hi-Mamba通过L-SSM和R-SSM的组合，以及DA-HMG的设计，实现了单向扫描下的多尺度信息聚合和空间关系建模。这种设计显著降低了计算复杂度，同时保持了模型的性能。

关键设计：L-SSM和R-SSM的具体实现细节（例如状态转移矩阵、观测矩阵等）未知，但关键在于它们分别关注图像的不同尺度信息。DA-HMG中，HMB的级联方式和扫描方向的交替策略是重要的设计选择，旨在最大化空间信息的利用。损失函数和训练策略的具体细节也未在摘要中提及，但通常会采用L1或L2损失，并结合适当的正则化方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Hi-Mamba在五个基准数据集上进行了广泛的实验，结果表明其在图像超分辨率任务中具有优越的性能。例如，在Manga109数据集上，Hi-Mamba相较于强大的轻量级MambaIR，实现了0.29 dB的PSNR显著提升（$ imes3$ SR）。这些结果验证了Hi-Mamba在效率和性能上的优势。

🎯 应用场景

Hi-Mamba在图像超分辨率领域具有广泛的应用前景，例如视频监控、医学影像、卫星遥感等。该技术可以提升低分辨率图像的清晰度，从而改善视觉体验，辅助专业分析，并为后续任务提供更高质量的数据。未来，Hi-Mamba有望应用于更多低层视觉任务，并与其他技术结合，例如图像修复、图像去噪等。

📄 摘要（原文）

State Space Models (SSM), such as Mamba, have shown strong representation ability in modeling long-range dependency with linear complexity, achieving successful applications from high-level to low-level vision tasks. However, SSM's sequential nature necessitates multiple scans in different directions to compensate for the loss of spatial dependency when unfolding the image into a 1D sequence. This multi-direction scanning strategy significantly increases the computation overhead and is unbearable for high-resolution image processing. To address this problem, we propose a novel Hierarchical Mamba network, namely, Hi-Mamba, for image super-resolution (SR). Hi-Mamba consists of two key designs: (1) The Hierarchical Mamba Block (HMB) assembled by a Local SSM (L-SSM) and a Region SSM (R-SSM) both with the single-direction scanning, aggregates multi-scale representations to enhance the context modeling ability. (2) The Direction Alternation Hierarchical Mamba Group (DA-HMG) allocates the isomeric single-direction scanning into cascading HMBs to enrich the spatial relationship modeling. Extensive experiments demonstrate the superiority of Hi-Mamba across five benchmark datasets for efficient SR. For example, Hi-Mamba achieves a significant PSNR improvement of 0.29 dB on Manga109 for $\times3$ SR, compared to the strong lightweight MambaIR.