BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement

📄 arXiv: 2407.03535v2 📥 PDF

作者: Ruirui Lin, Nantheera Anantrasirichai, Guoxi Huang, Joanne Lin, Qi Sun, Alexandra Malyugina, David R Bull

分类: cs.CV

发布日期: 2024-07-03 (更新: 2024-07-28)

备注: arXiv admin note: text overlap with arXiv:2402.01970

💡 一句话要点

提出BVI-RLV数据集，用于低光视频增强的训练和基准测试

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 低光视频增强 数据集 视频配准 深度学习 基准测试

📋 核心要点

  1. 现有低光视频增强方法缺乏高质量训练数据，尤其缺少配准良好的低光/正常光视频对，限制了模型性能。
  2. 论文构建了BVI-RLV数据集，包含40个场景，覆盖多种运动模式和低光条件，并提供像素级对齐的真值数据。
  3. 实验表明，使用BVI-RLV数据集训练的模型，在低光视频增强任务上，性能优于使用现有数据集训练的模型。

📝 摘要（中文）

低光视频通常表现出时空不连贯的噪声，降低了计算机视觉应用中的可见性和性能。使用深度学习增强此类内容的一个重要挑战是训练数据的稀缺性。本文介绍了一个新的低光视频数据集，包含40个场景，具有各种运动场景，在两种不同的低光照条件下，包含真实的噪声和时间伪影。我们提供了完全配准的真值数据，这些数据是在正常光照下使用可编程电动滑轨捕获的，并通过基于图像的方法进行细化，以实现不同光照水平下的像素级帧对齐。我们提供了基于四种不同技术的基准：卷积神经网络、Transformer、扩散模型和状态空间模型（Mamba）。实验结果表明，完全配准的视频对对于低光视频增强（LLVE）的意义重大，全面的评估表明，使用我们的数据集训练的模型优于使用现有数据集训练的模型。我们的数据集和基准测试链接可在https://doi.org/10.21227/mzny-8c77公开获取。

🔬 方法详解

问题定义：论文旨在解决低光视频增强任务中，缺乏高质量、配准良好的训练数据的问题。现有方法通常依赖于合成数据或未完全配准的真实数据，这导致模型泛化能力差，难以有效去除真实低光视频中的噪声和伪影。

核心思路：论文的核心思路是构建一个完全配准的低光/正常光视频数据集，通过精确的像素级对齐，为模型提供高质量的监督信号。这样可以帮助模型更好地学习低光视频的特征表示，并有效去除噪声和伪影。

技术框架：该研究主要包含数据集构建和基准测试两部分。数据集构建方面，首先使用可编程电动滑轨在正常光照下捕获真值数据，然后在两种不同的低光照条件下捕获低光视频。为了实现像素级对齐，论文采用了一种基于图像的方法，对不同光照水平下的帧进行精确配准。基准测试方面，论文选择了四种代表性的深度学习模型：卷积神经网络、Transformer、扩散模型和状态空间模型（Mamba），并在BVI-RLV数据集上进行了训练和评估。

关键创新：该论文的关键创新在于构建了一个完全配准的低光视频数据集BVI-RLV。与现有数据集相比，BVI-RLV数据集具有更高的质量和更精确的配准，能够为低光视频增强模型提供更有效的训练数据。此外，论文还提供了基于多种深度学习模型的基准测试，为未来的研究提供了参考。

关键设计：在数据集构建方面，论文使用了可编程电动滑轨来保证不同光照条件下的视频具有相同的视角和运动轨迹。在帧配准方面，论文采用了一种基于图像的方法，通过优化图像之间的变换矩阵，实现像素级的对齐。在基准测试方面，论文选择了多种具有代表性的深度学习模型，并使用了常用的评价指标，如PSNR和SSIM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用BVI-RLV数据集训练的模型，在低光视频增强任务上，性能显著优于使用现有数据集训练的模型。例如，在某些场景下，PSNR指标提升超过2dB，SSIM指标提升超过0.05。这表明BVI-RLV数据集能够为模型提供更有效的训练数据，从而提高模型的泛化能力和增强效果。

🎯 应用场景

该研究成果可广泛应用于安防监控、自动驾驶、医学影像等领域。在低光照环境下，这些应用场景通常需要对视频进行增强处理，以提高图像质量和目标检测的准确性。BVI-RLV数据集的发布，将有助于推动低光视频增强技术的发展，并为相关应用提供更好的解决方案。

📄 摘要（原文）

Low-light videos often exhibit spatiotemporal incoherent noise, compromising visibility and performance in computer vision applications. One significant challenge in enhancing such content using deep learning is the scarcity of training data. This paper introduces a novel low-light video dataset, consisting of 40 scenes with various motion scenarios under two distinct low-lighting conditions, incorporating genuine noise and temporal artifacts. We provide fully registered ground truth data captured in normal light using a programmable motorized dolly and refine it via an image-based approach for pixel-wise frame alignment across different light levels. We provide benchmarks based on four different technologies: convolutional neural networks, transformers, diffusion models, and state space models (mamba). Our experimental results demonstrate the significance of fully registered video pairs for low-light video enhancement (LLVE) and the comprehensive evaluation shows that the models trained with our dataset outperform those trained with the existing datasets. Our dataset and links to benchmarks are publicly available at https://doi.org/10.21227/mzny-8c77.