Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement

📄 arXiv: 2409.07040v5 📥 PDF

作者: Xianmin Chen, Longfei Han, Peiliang Huang, Xiaoxu Feng, Dingwen Zhang, Junwei Han

分类: cs.CV, eess.IV

发布日期: 2024-09-11 (更新: 2025-07-15)

DOI: 10.1109/TCSVT.2025.3589476

🔗 代码/项目: GITHUB

💡 一句话要点

提出Retinex-RAWMamba，桥接去马赛克和去噪，用于低光RAW图像增强。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 低光图像增强 RAW图像处理 去马赛克 去噪 Retinex分解 Mamba架构 跨域映射

📋 核心要点

  1. 现有低光图像增强方法在RAW域到sRGB域的跨域映射中，存在去噪性能不足或色彩失真问题。
  2. 提出RAWMamba，利用Mamba架构处理RAW图像，并引入Retinex分解模块解耦照度和反射率，实现更有效的去噪。
  3. 在SID和MCR数据集上的实验表明，RAWMamba在跨域映射方面达到了最先进的性能。

📝 摘要（中文）

低光图像增强，特别是从RAW域到sRGB域的跨域映射，仍然是一个重要的挑战。近年来，许多基于深度学习的方法被开发来解决这个问题，并取得了可喜的成果。然而，单阶段方法试图统一跨域的复杂映射，导致去噪性能有限。相比之下，现有的两阶段方法通常忽略了图像信号处理（ISP）流程中去马赛克的特性，导致在不同光照条件下出现色彩失真，尤其是在低光场景下。为了解决这些问题，我们提出了一种基于Mamba的新方法，专门为低光RAW图像定制，称为RAWMamba，以有效地处理具有不同CFA的RAW图像。此外，我们引入了一个基于Retinex先验的Retinex分解模块（RDM），它将照度从反射率中解耦，以促进更有效的去噪和自动非线性曝光校正，减少手动线性照度增强的影响。通过桥接去马赛克和去噪，实现了更好的低光RAW图像增强。在公共数据集SID和MCR上进行的实验评估表明，我们提出的RAWMamba在跨域映射方面实现了最先进的性能。代码可在https://github.com/Cynicarlos/RetinexRawMamba获得。

🔬 方法详解

问题定义：论文旨在解决低光RAW图像增强问题，现有方法主要存在两个痛点：单阶段方法去噪性能有限，两阶段方法忽略去马赛克过程导致色彩失真。尤其是在低光照条件下，这些问题更加突出。

核心思路：论文的核心思路是桥接去马赛克和去噪两个过程，通过Retinex分解模块将图像分解为照度和反射率分量，从而更好地进行去噪和曝光校正。同时，利用Mamba架构处理RAW图像，以适应不同CFA（Color Filter Array）的RAW数据。

技术框架：整体框架包含Retinex分解模块（RDM）和RAWMamba模块。RDM首先将输入的RAW图像分解为照度分量和反射率分量。然后，RAWMamba模块利用Mamba架构对分解后的分量进行处理，实现去马赛克、去噪和增强。最后，将处理后的照度和反射率分量重新组合，得到增强后的图像。

关键创新：论文的关键创新在于以下几点：1) 提出RAWMamba，一种基于Mamba架构的RAW图像处理方法，能够有效处理不同CFA的RAW数据。2) 引入Retinex分解模块，将图像分解为照度和反射率分量，从而更好地进行去噪和曝光校正。3) 桥接去马赛克和去噪两个过程，避免了传统方法中存在的色彩失真问题。

关键设计：Retinex分解模块采用卷积神经网络实现，损失函数包括L1损失、结构相似性损失（SSIM）和色彩损失。RAWMamba模块采用Mamba架构，并针对RAW图像的特点进行了优化。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Retinex-RAWMamba在SID和MCR数据集上取得了state-of-the-art的性能。相较于现有方法，该方法在PSNR和SSIM等指标上均有显著提升，尤其是在低光照条件下，色彩还原效果更好，视觉效果更自然。

🎯 应用场景

该研究成果可应用于各种低光成像场景，例如夜间监控、医学成像、自动驾驶等。通过提高低光图像的质量，可以改善视觉系统的性能，提高图像分析的准确性，具有重要的实际应用价值和广阔的市场前景。

📄 摘要（原文）

Low-light image enhancement, particularly in cross-domain tasks such as mapping from the raw domain to the sRGB domain, remains a significant challenge. Many deep learning-based methods have been developed to address this issue and have shown promising results in recent years. However, single-stage methods, which attempt to unify the complex mapping across both domains, leading to limited denoising performance. In contrast, existing two-stage approaches typically overlook the characteristic of demosaicing within the Image Signal Processing (ISP) pipeline, leading to color distortions under varying lighting conditions, especially in low-light scenarios. To address these issues, we propose a novel Mamba-based method customized for low light RAW images, called RAWMamba, to effectively handle raw images with different CFAs. Furthermore, we introduce a Retinex Decomposition Module (RDM) grounded in Retinex prior, which decouples illumination from reflectance to facilitate more effective denoising and automatic non-linear exposure correction, reducing the effect of manual linear illumination enhancement. By bridging demosaicing and denoising, better enhancement for low light RAW images is achieved. Experimental evaluations conducted on public datasets SID and MCR demonstrate that our proposed RAWMamba achieves state-of-the-art performance on cross-domain mapping. The code is available at https://github.com/Cynicarlos/RetinexRawMamba.