Optimizing 4D Lookup Table for Low-light Video Enhancement via Wavelet Priori

📄 arXiv: 2409.08585v1 📥 PDF

作者: Jinhong He, Minglong Xue, Wenhai Wang, Mingliang Zhou

分类: cs.CV, eess.IV

发布日期: 2024-09-13

💡 一句话要点

提出基于小波先验的4D LUT低照度视频增强方法，提升时空颜色一致性。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低照度视频增强 4D查找表 小波先验 颜色一致性 实时处理

📋 核心要点

  1. 低照度视频增强需要在保持时空颜色一致性的同时，提高颜色映射的准确性，并降低延迟，这极具挑战性。
  2. 论文核心思想是利用小波先验构建优化的4D查找表，实现自适应的低照度视频增强，提升颜色一致性和映射精度。
  3. 实验结果表明，该方法在多个基准数据集上，能够有效提升色彩空间感知能力，实现实时增强，并在指标和感知上均有提升。

📝 摘要（中文）

本文提出了一种结合小波先验的4D查找表(WaveLUT)方法，用于低照度视频增强，旨在保持时空颜色一致性。该方法通过小波低频域构建优化的查找先验，并通过设计的Wavelet-prior 4D查找表实现自适应增强效果。为了有效补偿低光区域的先验损失，进一步探索了一种动态融合策略，该策略基于小波光照先验和目标强度结构之间的相关性自适应地确定空间权重。此外，在训练阶段，设计了一种文本驱动的外观重建方法，通过多模态语义驱动的傅里叶频谱动态平衡亮度和内容。在广泛的基准数据集上的实验表明，该方法有效地增强了先前方法感知色彩空间的能力，并在保持高效率的同时实现了度量标准有利且感知导向的实时增强。

🔬 方法详解

问题定义：低照度视频增强需要在保持时空颜色一致性的前提下，提高颜色映射的准确性并降低延迟。现有方法难以兼顾这三个方面，尤其是在低光照条件下，颜色映射容易失真，导致视频帧之间的颜色不一致。

核心思路：论文的核心思路是利用小波变换提取图像的低频信息作为先验知识，指导4D查找表的构建和优化。小波低频信息反映了图像的整体光照和颜色分布，可以有效地约束颜色映射过程，从而提高颜色一致性和映射精度。同时，4D查找表结构能够实现快速的颜色映射，保证低延迟。

技术框架：该方法主要包含以下几个模块：1) 小波变换模块，用于提取输入视频帧的小波低频信息；2) 4D查找表构建模块，利用小波低频信息构建优化的4D查找表；3) 动态融合模块，根据小波光照先验和目标强度结构之间的相关性，自适应地融合查找表的结果和原始图像；4) 训练模块，采用文本驱动的外观重建方法，通过多模态语义驱动的傅里叶频谱动态平衡亮度和内容。

关键创新：该方法最重要的创新点在于将小波先验引入到4D查找表的构建中。与传统的基于像素或局部区域的颜色映射方法不同，该方法利用小波低频信息作为全局约束，能够更有效地保持颜色一致性。此外，动态融合策略和文本驱动的训练方法也进一步提升了增强效果。

关键设计：在4D查找表的构建中，论文设计了一种Wavelet-prior 4D查找表，具体实现细节未知。动态融合模块中，空间权重的计算依赖于小波光照先验和目标强度结构之间的相关性，具体计算公式未知。在训练阶段，文本驱动的外观重建方法利用多模态语义驱动的傅里叶频谱，具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个基准数据集上进行了实验，结果表明该方法能够有效提升色彩空间感知能力，并在保持高效率的同时实现了度量标准有利且感知导向的实时增强。具体的性能数据和对比基线未知，但摘要强调了该方法优于之前的同类方法。

🎯 应用场景

该研究成果可应用于各种低照度视频增强场景，如安防监控、自动驾驶、医学影像等。通过提升低照度视频的质量，可以提高目标检测、识别和跟踪的准确性，从而改善相关系统的性能。此外，该方法具有低延迟的特点，适用于实时视频处理应用。

📄 摘要（原文）

Low-light video enhancement is highly demanding in maintaining spatiotemporal color consistency. Therefore, improving the accuracy of color mapping and keeping the latency low is challenging. Based on this, we propose incorporating Wavelet-priori for 4D Lookup Table (WaveLUT), which effectively enhances the color coherence between video frames and the accuracy of color mapping while maintaining low latency. Specifically, we use the wavelet low-frequency domain to construct an optimized lookup prior and achieve an adaptive enhancement effect through a designed Wavelet-prior 4D lookup table. To effectively compensate the a priori loss in the low light region, we further explore a dynamic fusion strategy that adaptively determines the spatial weights based on the correlation between the wavelet lighting prior and the target intensity structure. In addition, during the training phase, we devise a text-driven appearance reconstruction method that dynamically balances brightness and content through multimodal semantics-driven Fourier spectra. Extensive experiments on a wide range of benchmark datasets show that this method effectively enhances the previous method's ability to perceive the color space and achieves metric-favorable and perceptually oriented real-time enhancement while maintaining high efficiency.