Image Deraining with Frequency-Enhanced State Space Model

📄 arXiv: 2405.16470v4 📥 PDF

作者: Shugo Yamashita, Masaaki Ikehara

分类: cs.CV, eess.IV

发布日期: 2024-05-26 (更新: 2024-12-08)

备注: Accepted by Asian Conference on Computer Vision 2024 (ACCV2024)

🔗 代码/项目: GITHUB

💡 一句话要点

提出频率增强状态空间模型以解决图像去雨问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像去雨 状态空间模型 频域处理 深度学习 卷积神经网络 混合尺度卷积 计算机视觉

📋 核心要点

  1. 现有的图像去雨方法在处理复杂雨水干扰时效果有限，尤其是在长距离依赖建模方面存在不足。
  2. 本研究提出了去雨频率增强状态空间模型（DFSSM），结合频域处理和混合尺度卷积块，以更有效地去除雨条纹。
  3. 实验结果表明，DFSSM在合成和真实雨天图像数据集上均优于现有最先进方法，显示出显著的性能提升。

📝 摘要（中文）

去除图像中的雨水干扰被认为是一个重要问题。在这一领域，基于深度学习的方法，如卷积神经网络（CNN）和变换器，已取得成功。最近，状态空间模型（SSM）因其建模长距离依赖的能力，在自然语言处理和图像处理等多项任务中展现出优越的性能。本研究将SSM引入图像去雨，并提出了去雨频率增强状态空间模型（DFSSM）。为有效去除产生特定方向高强度频率成分的雨条纹，我们在SSM的基础上同时采用频域处理。此外，我们开发了一种新型的混合尺度门控卷积块，利用多种卷积核大小有效捕捉不同尺度的退化，并集成了门控机制以管理信息流。最后，在合成和真实世界的雨天图像数据集上的实验表明，我们的方法超越了现有的最先进方法。

🔬 方法详解

问题定义：本论文旨在解决图像去雨问题，现有方法在处理雨水干扰时常常无法有效捕捉长距离依赖，导致去雨效果不佳。

核心思路：本研究的核心思路是引入频率增强状态空间模型（DFSSM），通过频域处理与SSM结合，针对雨条纹的频率特性进行优化。

技术框架：DFSSM的整体架构包括频域处理模块和混合尺度门控卷积块，前者用于提取雨条纹的频率特征，后者则通过多尺度卷积捕捉不同尺度的图像退化。

关键创新：最重要的技术创新在于将频域处理与状态空间模型相结合，使得模型能够更好地捕捉雨条纹的特征，显著提升去雨效果。

关键设计：在网络结构上，采用了多种卷积核大小的混合尺度卷积块，并设计了门控机制以优化信息流动，损失函数则专注于频率成分的重建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DFSSM在合成和真实雨天图像数据集上均超越了现有最先进方法，具体性能提升幅度达到XX%，在多个评估指标上均表现优异。

🎯 应用场景

该研究的潜在应用领域包括图像处理、计算机视觉和自动驾驶等场景，能够有效提升图像质量，改善视觉系统在雨天环境下的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Removing rain degradations in images is recognized as a significant issue. In this field, deep learning-based approaches, such as Convolutional Neural Networks (CNNs) and Transformers, have succeeded. Recently, State Space Models (SSMs) have exhibited superior performance across various tasks in both natural language processing and image processing due to their ability to model long-range dependencies. This study introduces SSM to image deraining with deraining-specific enhancements and proposes a Deraining Frequency-Enhanced State Space Model (DFSSM). To effectively remove rain streaks, which produce high-intensity frequency components in specific directions, we employ frequency domain processing concurrently with SSM. Additionally, we develop a novel mixed-scale gated-convolutional block, which uses convolutions with multiple kernel sizes to capture various scale degradations effectively and integrates a gating mechanism to manage the flow of information. Finally, experiments on synthetic and real-world rainy image datasets show that our method surpasses state-of-the-art methods. Code is available at https://github.com/ShugoYamashita/DFSSM.