Wave-Mamba: Wavelet State Space Model for Ultra-High-Definition Low-Light Image Enhancement

📄 arXiv: 2408.01276v1 📥 PDF

作者: Wenbin Zou, Hongxia Gao, Weipeng Yang, Tongtong Liu

分类: cs.CV

发布日期: 2024-08-02

备注: 10 pages, 8 figures, ACMMM2024 accepted

🔗 代码/项目: GITHUB

💡 一句话要点

提出Wave-Mamba，利用小波变换和状态空间模型进行超高清低光图像增强。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 低光图像增强 超高清图像 小波变换 状态空间模型 图像恢复

📋 核心要点

  1. 现有超高清低光图像增强方法为降低计算成本而进行高倍下采样，导致信息丢失，是核心问题。
  2. Wave-Mamba利用小波变换分离图像内容与噪声，并设计低频状态空间块和高频增强块。
  3. 实验结果表明，Wave-Mamba在超高清低光图像增强任务上显著优于现有技术，且架构更精简。

📝 摘要（中文）

超高清(UHD)技术因其卓越的视觉质量而备受关注，但也给低光图像增强(LLIE)技术带来了新的挑战。UHD图像本身具有很高的计算复杂度，导致现有的UHD LLIE方法采用高倍率的下采样来降低计算成本，进而导致信息丢失。小波变换不仅允许无损的下采样，而且可以将图像内容与噪声分离。它使状态空间模型(SSM)在建模长序列时避免受到噪声的影响，从而充分利用SSM的长序列建模能力。在此基础上，我们提出Wave-Mamba，这是一种基于从小波域获得的两个关键见解的新方法：1)图像的大部分内容信息存在于低频分量中，高频分量较少。2)高频分量对低光增强的结果影响最小。具体来说，为了有效地对UHD图像上的全局内容信息进行建模，我们通过改进SSM提出了一个低频状态空间块(LFSSBlock)，以专注于恢复低频子带的信息。此外，我们为高频子带信息提出了一个高频增强块(HFEBlock)，它使用增强的低频信息来校正高频信息，并有效地恢复正确的高频细节。通过全面的评估，我们的方法表现出卓越的性能，显著优于当前领先的技术，同时保持了更精简的架构。

🔬 方法详解

问题定义：论文旨在解决超高清低光图像增强问题。现有方法为了降低计算复杂度，通常采用高倍率下采样，导致图像细节信息丢失，影响增强效果。此外，低光环境下的噪声也会干扰图像增强过程。

核心思路：论文的核心思路是利用小波变换将图像分解为低频和高频子带，分别处理。低频子带包含图像的主要内容信息，高频子带包含细节信息。通过增强低频信息并利用其校正高频信息，可以有效地恢复图像细节，同时抑制噪声的影响。状态空间模型(SSM)擅长处理长序列数据，可以更好地建模图像的全局信息。

技术框架：Wave-Mamba的整体架构包含以下几个主要模块：1) 小波变换：将输入图像分解为低频和高频子带。2) 低频状态空间块(LFSSBlock)：改进的SSM，用于增强低频子带的信息。3) 高频增强块(HFEBlock)：利用增强的低频信息校正高频子带的信息，恢复高频细节。4) 小波逆变换：将增强后的低频和高频子带重构为增强后的图像。

关键创新：论文的关键创新在于将小波变换和状态空间模型相结合，并针对低频和高频子带设计了不同的处理模块。LFSSBlock专注于恢复低频信息，HFEBlock利用低频信息校正高频信息，从而在抑制噪声的同时，有效地恢复图像细节。

关键设计：LFSSBlock通过改进SSM，使其更关注低频子带的信息恢复。HFEBlock利用增强后的低频信息来指导高频信息的恢复，具体实现方式未知。损失函数和网络结构的具体细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Wave-Mamba在超高清低光图像增强任务上取得了显著的性能提升，超越了当前领先的技术。虽然论文中没有给出具体的性能数据和对比基线，但强调了该方法在保持更精简架构的同时，实现了更好的增强效果。具体的性能指标提升幅度未知。

🎯 应用场景

该研究成果可应用于安防监控、医学影像、遥感图像等领域，提升在低光照条件下图像的清晰度和可识别性。例如，在夜间监控中，可以增强图像细节，提高目标检测的准确率。在医学影像中，可以改善低剂量CT图像的质量，减少辐射损伤。未来，该技术有望在智能交通、自动驾驶等领域发挥重要作用。

📄 摘要（原文）

Ultra-high-definition (UHD) technology has attracted widespread attention due to its exceptional visual quality, but it also poses new challenges for low-light image enhancement (LLIE) techniques. UHD images inherently possess high computational complexity, leading existing UHD LLIE methods to employ high-magnification downsampling to reduce computational costs, which in turn results in information loss. The wavelet transform not only allows downsampling without loss of information, but also separates the image content from the noise. It enables state space models (SSMs) to avoid being affected by noise when modeling long sequences, thus making full use of the long-sequence modeling capability of SSMs. On this basis, we propose Wave-Mamba, a novel approach based on two pivotal insights derived from the wavelet domain: 1) most of the content information of an image exists in the low-frequency component, less in the high-frequency component. 2) The high-frequency component exerts a minimal influence on the outcomes of low-light enhancement. Specifically, to efficiently model global content information on UHD images, we proposed a low-frequency state space block (LFSSBlock) by improving SSMs to focus on restoring the information of low-frequency sub-bands. Moreover, we propose a high-frequency enhance block (HFEBlock) for high-frequency sub-band information, which uses the enhanced low-frequency information to correct the high-frequency information and effectively restore the correct high-frequency details. Through comprehensive evaluation, our method has demonstrated superior performance, significantly outshining current leading techniques while maintaining a more streamlined architecture. The code is available at https://github.com/AlexZou14/Wave-Mamba.