Stabilizing Illumination Conditioning in SSM-Based Low-Light Image Enhancement with Bottleneck Prompt Sidecars
作者: Wei Chen Ng, Qiyi Xie, Jian Ding Tan, Yan Kang Lee, Abdulrab Hakim Qaid Abdullah, Wei Hown Tee
分类: eess.IV, cs.CV
发布日期: 2026-10-16
💡 一句话要点
提出瓶颈提示侧车以解决SSM基础低光图像增强中的照明条件问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 低光图像增强 照明条件 SSM模型 提示适配器 图像处理 深度学习 计算机视觉
📋 核心要点
- 现有的低光图像增强方法在处理空间变化的照明和噪声时存在不足，导致图像质量下降。
- 本研究提出了一种瓶颈侧车提示适配器，通过轻量级照明估计器预测照明图并注入模型，改善了图像增强效果。
- 实验结果表明，PromptAdapter在多个数据集上显著提高了PSNR、SSIM等指标，验证了其有效性。
📝 摘要（中文）
低光图像增强（LLIE）不仅需要亮度放大，还需处理空间变化的照明、放大噪声、颜色失真和局部细节丢失等问题。近期的SSM和Mamba基础恢复器提供了高效的长距离建模，但如何将照明先验引入这些基础模型仍然研究不足。本研究通过瓶颈侧车提示适配器（PromptAdapter）解决了SSM基础LLIE中的安全照明条件问题。首先，轻量级照明估计器预测单通道照明图，然后将其转换为提示令牌，通过残差侧车适配器注入瓶颈中，从而避免直接修改状态空间核心。在LOL-v1、LOLv2-Real和LOLv2-Synthetic的锁定三种种子评估协议下，PromptAdapter在PSNR上分别比基础模型提高了0.94 dB、1.24 dB和0.93 dB，同时改善了SSIM、LPIPS和掩蔽暗区指标。
🔬 方法详解
问题定义：本研究旨在解决SSM基础低光图像增强中的照明条件问题。现有方法在处理空间变化的照明和噪声时，往往未能有效引入照明先验，导致图像质量下降。
核心思路：论文提出了一种瓶颈侧车提示适配器（PromptAdapter），通过轻量级照明估计器生成照明图，并将其转换为提示令牌注入模型，从而实现安全的照明条件设计。
技术框架：整体架构包括一个轻量级照明估计器、一个提示令牌生成模块和一个残差侧车适配器。首先，照明估计器预测照明图，然后将其转换为提示令牌，最后通过侧车适配器注入到模型中。
关键创新：最重要的技术创新在于引入了瓶颈侧车提示适配器，使得照明条件的设计与信号本身同样重要，避免了对状态空间核心的直接修改。
关键设计：在模型设计中，采用了轻量级的网络结构以提高计算效率，并通过特定的损失函数优化照明图的预测精度，同时确保提示令牌的有效性。实验中使用了锁定三种种子的评估协议，以确保结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PromptAdapter在LOL-v1、LOLv2-Real和LOLv2-Synthetic数据集上，PSNR分别提高了0.94 dB、1.24 dB和0.93 dB，且在SSIM、LPIPS等指标上也有显著改善，验证了其在低光图像增强中的有效性。
🎯 应用场景
该研究的潜在应用领域包括低光环境下的图像处理、监控视频增强和夜间摄影等。通过改善低光图像的质量，能够在实际应用中提升图像的可用性和可视性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Low-light image enhancement (LLIE) requires more than brightness amplification because real low-light images often exhibit spatially varying illumination, amplified noise, color distortion, and local detail loss. Recent SSM- and Mamba-based restorers provide efficient long-range modeling, yet the route for introducing illumination priors into such backbones remains insufficiently studied. This study addresses safe illumination conditioning for SSM-based LLIE through a bottleneck-side PromptAdapter. A lightweight illumination estimator first predicts a single-channel illumination map, which is then converted into prompt tokens and injected through a residual sidecar adapter at the bottleneck, thereby avoiding direct modification of the state-space core. Under a locked three-seed evaluation protocol on LOL-v1, LOLv2-Real, and LOLv2-Synthetic, the PromptAdapter improves over the Base model by 0.94 dB, 1.24 dB, and 0.93 dB in PSNR, respectively, while also improving SSIM, LPIPS, and masked dark-region metrics. The clearest real-data evidence appears on LOLv2-Real. A Learned-Fixed control on LOL-v1 indicates that the present results support the utility of the sidecar conditioning pathway more strongly than a strict claim of illumination-conditioned superiority, and the LOLv2-Synthetic result remains stability-conditioned. These findings suggest that, in SSM-based LLIE, conditioning design can be as important as the conditioning signal itself.