EAMamba: Efficient All-Around Vision State Space Model for Image Restoration

📄 arXiv: 2506.22246v1 📥 PDF

作者: Yu-Cheng Lin, Yu-Syuan Xu, Hao-Wei Chen, Hsien-Kai Kuo, Chun-Yi Lee

分类: cs.CV

发布日期: 2025-06-27

备注: ICCV 2025

💡 一句话要点

提出EAMamba以解决低级视觉任务中的计算复杂性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像恢复 计算复杂性 多头选择扫描 全方位扫描 低级视觉任务 深度学习 视觉模型

📋 核心要点

  1. 现有的Vision Mamba在低级视觉任务中面临计算复杂性和局部像素遗忘等挑战，限制了其应用效果。
  2. 本研究提出的EAMamba通过引入多头选择扫描模块（MHSSM）和全方位扫描机制，有效解决了这些问题。
  3. 实验结果显示，EAMamba在多个恢复任务中实现了31-89%的FLOPs减少，且性能优于现有方法。

📝 摘要（中文）

图像恢复是低级计算机视觉中的关键任务，旨在从退化的输入中重建高质量图像。受先进状态空间模型Mamba的启发，Vision Mamba在建模长距离依赖性方面表现出色，但在低级视觉任务中面临计算复杂性和局部像素遗忘等挑战。为了解决这些问题，本研究提出了高效全方位Mamba（EAMamba），该框架引入了多头选择扫描模块（MHSSM）和全方位扫描机制，有效聚合多个扫描序列，避免了计算复杂性和参数数量的增加。实验结果表明，EAMamba在超分辨率、去噪、去模糊和去雾等多个恢复任务中实现了31-89%的FLOPs减少，同时保持了良好的性能。

🔬 方法详解

问题定义：本论文旨在解决低级视觉任务中的图像恢复问题，现有方法如Vision Mamba在处理长距离依赖性时计算复杂性较高，并且存在局部像素遗忘的问题。

核心思路：EAMamba的核心思路是通过引入多头选择扫描模块（MHSSM）和全方位扫描机制，来高效聚合多个扫描序列，从而降低计算复杂性并解决局部像素遗忘。

技术框架：EAMamba的整体架构包括输入图像的预处理、多头选择扫描模块（MHSSM）和图像恢复模块。MHSSM负责高效聚合多个扫描序列，而图像恢复模块则利用全方位扫描策略进行图像重建。

关键创新：EAMamba的主要创新在于MHSSM的引入和全方位扫描策略的实施，这与现有方法相比，显著降低了计算复杂性，并有效捕捉了全局信息。

关键设计：在设计中，EAMamba优化了参数设置，采用了适应性损失函数，并在网络结构上进行了改进，以确保在降低FLOPs的同时保持高性能。具体的参数设置和网络结构细节在论文中有详细描述。

📊 实验亮点

实验结果表明，EAMamba在多个图像恢复任务中实现了31-89%的FLOPs减少，相比于现有的低级视觉方法，性能保持在一个良好的水平，显示出其在效率和效果上的显著提升。

🎯 应用场景

EAMamba在图像恢复领域具有广泛的应用潜力，包括超分辨率、去噪、去模糊和去雾等任务。其高效的计算性能使其适用于实时图像处理和低功耗设备，具有重要的实际价值和未来影响。

📄 摘要（原文）

Image restoration is a key task in low-level computer vision that aims to reconstruct high-quality images from degraded inputs. The emergence of Vision Mamba, which draws inspiration from the advanced state space model Mamba, marks a significant advancement in this field. Vision Mamba demonstrates excellence in modeling long-range dependencies with linear complexity, a crucial advantage for image restoration tasks. Despite its strengths, Vision Mamba encounters challenges in low-level vision tasks, including computational complexity that scales with the number of scanning sequences and local pixel forgetting. To address these limitations, this study introduces Efficient All-Around Mamba (EAMamba), an enhanced framework that incorporates a Multi-Head Selective Scan Module (MHSSM) with an all-around scanning mechanism. MHSSM efficiently aggregates multiple scanning sequences, which avoids increases in computational complexity and parameter count. The all-around scanning strategy implements multiple patterns to capture holistic information and resolves the local pixel forgetting issue. Our experimental evaluations validate these innovations across several restoration tasks, including super resolution, denoising, deblurring, and dehazing. The results validate that EAMamba achieves a significant 31-89% reduction in FLOPs while maintaining favorable performance compared to existing low-level Vision Mamba methods.