Low-Light Image Enhancement using Event-Based Illumination Estimation
作者: Lei Sun, Yuhan Bao, Jiajun Zhai, Jingyun Liang, Yulun Zhang, Kaiwei Wang, Danda Pani Paudel, Luc Van Gool
分类: cs.CV
发布日期: 2025-04-13
💡 一句话要点
RetinEV：利用事件相机的时间映射事件进行低光照图像增强
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 低光照图像增强 事件相机 时间映射事件 光照估计 反射增强
📋 核心要点
- 现有基于事件的低光照增强方法主要依赖运动事件，忽略了事件相机在高动态范围和低光照响应方面的潜力。
- RetinEV利用时间映射事件估计光照，通过时间戳到亮度值的转换，为反射分量的增强提供精细的光照线索。
- 实验结果表明，RetinEV在合成和真实数据集上均优于现有方法，实现了显著的性能提升和高效的推理速度。
📝 摘要（中文）
本文提出了一种基于事件的低光照图像增强(LLIE)方法，旨在提高弱光环境下图像的可见性。与以往主要利用运动事件增强边缘纹理的方法不同，本文探索了事件相机的高动态范围和低光照响应能力，提出利用“时间映射”事件估计光照，即通过将由透射率调制触发的事件的时间戳转换为亮度值。由此产生的光照线索，通过提出的光照辅助反射增强模块，能够更有效地分解和增强低光照图像中的反射分量。此外，本文还研究了低光照条件下时间映射事件的退化模型，用于合成逼真的训练数据。为了解决数据集的缺乏问题，我们构建了一个分束器装置，并收集了包含图像、时间映射事件和运动事件的EvLowLight数据集。在5个合成数据集和我们的真实EvLowLight数据集上的大量实验表明，所提出的RetinEV管道在生成光照良好、高动态范围图像方面表现出色，优于以往最先进的基于事件的方法，最高可达6.62 dB，同时保持了35.6帧/秒的高效推理速度（640x480图像）。
🔬 方法详解
问题定义：论文旨在解决低光照图像增强问题，现有基于事件相机的方法主要利用运动事件来增强图像边缘，忽略了事件相机本身高动态范围和低光照响应的特性，导致增强效果受限。
核心思路：论文的核心思路是利用事件相机的时间映射事件来估计光照信息。时间映射事件是由透射率变化触发的，其时间戳包含了光照变化的信息。通过将时间戳转换为亮度值，可以获得精细的光照线索，从而更好地分解和增强图像的反射分量。
技术框架：RetinEV的整体框架包含以下几个主要模块：1) 时间映射事件生成模块：将事件相机采集的时间映射事件转换为亮度图像。2) 光照辅助反射增强模块：利用估计的光照信息，将低光照图像分解为反射分量和光照分量，并对反射分量进行增强。3) 数据集构建：构建包含图像、时间映射事件和运动事件的EvLowLight数据集，用于模型训练和评估。
关键创新：论文的关键创新在于利用时间映射事件进行光照估计，这与以往方法主要依赖运动事件进行边缘增强的思路不同。通过时间映射事件，可以更准确地估计光照信息，从而实现更有效的低光照图像增强。此外，论文还研究了低光照条件下时间映射事件的退化模型，用于合成更逼真的训练数据。
关键设计：论文设计了光照辅助反射增强模块，该模块利用估计的光照信息，通过某种分解算法（具体算法未知，论文中可能详细描述）将低光照图像分解为反射分量和光照分量。然后，对反射分量进行增强，并与光照分量重新组合，得到增强后的图像。损失函数的设计细节未知，但可能包括重建损失、感知损失等，以保证增强后的图像质量。
🖼️ 关键图片
📊 实验亮点
RetinEV在多个合成数据集和真实的EvLowLight数据集上进行了评估，实验结果表明，RetinEV在生成光照良好、高动态范围图像方面表现出色，优于以往最先进的基于事件的方法，最高可达6.62 dB。此外，RetinEV还保持了35.6帧/秒的高效推理速度（640x480图像），具有实际应用潜力。
🎯 应用场景
该研究成果可应用于安防监控、自动驾驶、机器人视觉等领域，尤其是在光照条件不佳的环境下，能够显著提高图像的可见性和质量，从而提升相关系统的性能和可靠性。未来，该技术有望进一步推广到移动设备、医疗影像等领域，为人们的生活和工作带来便利。
📄 摘要（原文）
Low-light image enhancement (LLIE) aims to improve the visibility of images captured in poorly lit environments. Prevalent event-based solutions primarily utilize events triggered by motion, i.e., ''motion events'' to strengthen only the edge texture, while leaving the high dynamic range and excellent low-light responsiveness of event cameras largely unexplored. This paper instead opens a new avenue from the perspective of estimating the illumination using ''temporal-mapping'' events, i.e., by converting the timestamps of events triggered by a transmittance modulation into brightness values. The resulting fine-grained illumination cues facilitate a more effective decomposition and enhancement of the reflectance component in low-light images through the proposed Illumination-aided Reflectance Enhancement module. Furthermore, the degradation model of temporal-mapping events under low-light condition is investigated for realistic training data synthesizing. To address the lack of datasets under this regime, we construct a beam-splitter setup and collect EvLowLight dataset that includes images, temporal-mapping events, and motion events. Extensive experiments across 5 synthetic datasets and our real-world EvLowLight dataset substantiate that the devised pipeline, dubbed RetinEV, excels in producing well-illuminated, high dynamic range images, outperforming previous state-of-the-art event-based methods by up to 6.62 dB, while maintaining an efficient inference speed of 35.6 frame-per-second on a 640X480 image.