FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining
作者: Dong Li, Yidi Liu, Xueyang Fu, Senyan Xu, Zheng-Jun Zha
分类: cs.CV, eess.IV
发布日期: 2024-05-29 (更新: 2024-08-07)
💡 一句话要点
提出FourierMamba，利用傅里叶空间的状态空间模型进行图像去雨
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 图像去雨 傅里叶变换 状态空间模型 Mamba 频率相关性
📋 核心要点
- 现有基于傅里叶变换的图像去雨方法，未能充分利用不同频率分量之间的相关性，限制了去雨效果。
- 提出FourierMamba框架，将Mamba模型引入傅里叶空间，建模不同频率间的依赖关系，提升去雨性能。
- FourierMamba在空间和通道维度上采用不同的频率扫描编码策略，以适应傅里叶空间的特性。
📝 摘要（中文）
图像去雨旨在从带雨图像中去除雨痕并恢复清晰的背景。目前，一些采用傅里叶变换的研究已被证明对图像去雨有效，因为它充当了捕获雨痕的有效频率先验。然而，尽管图像中存在低频和高频的依赖关系，但这些基于傅里叶的方法很少利用不同频率之间的相关性来结合它们的学习过程，限制了频率信息在图像去雨中的充分利用。最近出现的Mamba技术展示了其在各种领域（例如，空间、时间）中建模相关性的有效性和效率，我们认为将Mamba引入其未开发的傅里叶空间以关联不同的频率将有助于改善图像去雨。这促使我们提出了一个名为FourierMamba的新框架，该框架在傅里叶空间中使用Mamba执行图像去雨。由于傅里叶空间中频率顺序的独特排列，FourierMamba的核心在于不同频率的扫描编码，其中低频到高频的顺序格式在空间维度（轴上未排列）和通道维度（轴上排列）中表现不同。因此，我们设计了FourierMamba，它通过不同的设计来关联空间和通道维度中的傅里叶空间信息。具体来说，在空间维度傅里叶空间中，我们引入了zigzag编码来扫描频率，以重新排列从低频到高频的顺序，从而有序地关联频率之间的连接；在通道维度傅里叶空间中，频率的顺序在轴上排列，我们可以直接使用Mamba来执行频率相关并改善通道信息表示。
🔬 方法详解
问题定义：图像去雨旨在去除图像中的雨痕，恢复清晰的背景。现有基于傅里叶变换的方法虽然利用了频率先验，但忽略了不同频率分量之间的相关性，导致信息利用不充分。
核心思路：核心思想是将Mamba状态空间模型引入傅里叶空间，利用Mamba建模序列依赖关系的优势，捕捉不同频率分量之间的相关性。通过在傅里叶空间中进行信息交互，更有效地利用频率信息进行图像去雨。
技术框架：FourierMamba框架主要包括以下步骤：1. 对带雨图像进行傅里叶变换，将其转换到频率域。2. 在空间维度上，使用zigzag编码扫描频率，将二维频率信息转换为一维序列。3. 在通道维度上，直接利用Mamba模型进行频率相关性建模。4. 使用Mamba模型学习到的信息进行图像重建，得到去雨后的图像。
关键创新：关键创新在于将Mamba模型引入傅里叶空间，并设计了适应傅里叶空间特性的频率扫描编码策略。与传统方法相比，FourierMamba能够更好地建模不同频率分量之间的依赖关系，从而提升去雨效果。
关键设计：在空间维度上，采用zigzag编码将二维频率信息转换为一维序列，以便Mamba模型处理。在通道维度上，直接利用Mamba模型进行频率相关性建模。具体的参数设置和损失函数等技术细节在论文中未明确说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
论文提出的FourierMamba框架在图像去雨任务上取得了显著的性能提升。具体的性能数据、对比基线和提升幅度等实验结果在摘要中未提及，属于未知信息。但可以推断，该方法优于现有的基于傅里叶变换的图像去雨方法。
🎯 应用场景
FourierMamba在智能安防、自动驾驶等领域具有广泛的应用前景。在这些场景中，雨天会严重影响图像质量，降低视觉系统的性能。通过使用FourierMamba进行图像去雨，可以提高视觉系统的鲁棒性和准确性，从而提升相关应用的效果。
📄 摘要（原文）
Image deraining aims to remove rain streaks from rainy images and restore clear backgrounds. Currently, some research that employs the Fourier transform has proved to be effective for image deraining, due to it acting as an effective frequency prior for capturing rain streaks. However, despite there exists dependency of low frequency and high frequency in images, these Fourier-based methods rarely exploit the correlation of different frequencies for conjuncting their learning procedures, limiting the full utilization of frequency information for image deraining. Alternatively, the recently emerged Mamba technique depicts its effectiveness and efficiency for modeling correlation in various domains (e.g., spatial, temporal), and we argue that introducing Mamba into its unexplored Fourier spaces to correlate different frequencies would help improve image deraining. This motivates us to propose a new framework termed FourierMamba, which performs image deraining with Mamba in the Fourier space. Owning to the unique arrangement of frequency orders in Fourier space, the core of FourierMamba lies in the scanning encoding of different frequencies, where the low-high frequency order formats exhibit differently in the spatial dimension (unarranged in axis) and channel dimension (arranged in axis). Therefore, we design FourierMamba that correlates Fourier space information in the spatial and channel dimensions with distinct designs. Specifically, in the spatial dimension Fourier space, we introduce the zigzag coding to scan the frequencies to rearrange the orders from low to high frequencies, thereby orderly correlating the connections between frequencies; in the channel dimension Fourier space with arranged orders of frequencies in axis, we can directly use Mamba to perform frequency correlation and improve the channel information representation.