Bright-NeRF:Brightening Neural Radiance Field with Color Restoration from Low-light Raw Images

📄 arXiv: 2412.14547v1 📥 PDF

作者: Min Wang, Xin Huang, Guoqing Zhou, Qifeng Guo, Qing Wang

分类: cs.CV, eess.IV

发布日期: 2024-12-19

备注: Accepted by AAAI2025

💡 一句话要点

Bright-NeRF：提出色彩恢复的神经辐射场，解决低光照RAW图像的新视角合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 低光照成像 RAW图像处理 色彩恢复 新视角合成

📋 核心要点

  1. NeRF在正常光照下表现出色，但在低光照环境下，图像噪声大、色彩失真严重，难以学习精确的场景表示。
  2. Bright-NeRF利用传感器响应的物理模型和色度适应损失，从低光照RAW图像中无监督地学习增强的辐射场。
  3. 实验结果表明，Bright-NeRF在色彩恢复、去噪和新视角合成方面显著优于现有的2D和3D方法。

📝 摘要（中文）

神经辐射场（NeRFs）在新视角合成方面表现出色。然而，它们的输入严重依赖于正常光照条件下的图像采集，这使得在低光照环境中学习精确的场景表示变得具有挑战性，因为在低光照环境中，图像通常表现出显著的噪声和严重的色彩失真。为了应对这些挑战，我们提出了一种新颖的方法，Bright-NeRF，它以无监督的方式从多视角低光照RAW图像中学习增强和高质量的辐射场。我们的方法同时实现了色彩恢复、去噪和增强的新视角合成。具体来说，我们利用了传感器对光照响应的物理模型，并引入了色度适应损失来约束响应的学习，从而实现物体在不同光照条件下的颜色感知一致性。我们进一步利用RAW数据的属性来自动暴露场景的强度。此外，我们还收集了一个多视角低光照RAW图像数据集，以推进该领域的研究。实验结果表明，我们提出的方法显著优于现有的2D和3D方法。我们的代码和数据集将公开提供。

🔬 方法详解

问题定义：现有的NeRF方法在正常光照条件下表现良好，但当输入为低光照RAW图像时，由于图像噪声大、色彩失真严重，NeRF难以学习到准确的场景表示。因此，需要解决在低光照条件下，如何从RAW图像中恢复色彩并进行高质量新视角合成的问题。

核心思路：Bright-NeRF的核心思路是利用RAW图像的特性，结合传感器响应的物理模型，通过无监督学习的方式，同时进行色彩恢复、去噪和新视角合成。通过引入色度适应损失，约束模型学习到与光照条件无关的颜色感知，从而提高颜色一致性。

技术框架：Bright-NeRF的整体框架包含以下几个主要模块：1) RAW图像输入；2) 基于NeRF的场景表示学习；3) 传感器响应模型，用于模拟图像采集过程；4) 色度适应损失，用于约束颜色一致性；5) 渲染模块，用于生成新视角的图像。整个流程以无监督的方式进行训练，无需额外的监督信息。

关键创新：Bright-NeRF的关键创新在于：1) 针对低光照RAW图像，提出了一种端到端的NeRF训练方法，能够同时进行色彩恢复、去噪和新视角合成；2) 利用传感器响应的物理模型，并引入色度适应损失，从而实现与光照条件无关的颜色感知；3) 构建了一个多视角低光照RAW图像数据集，为该领域的研究提供了数据支持。

关键设计：Bright-NeRF的关键设计包括：1) 传感器响应模型的设计，需要准确模拟真实相机的成像过程；2) 色度适应损失函数的选择，需要能够有效地约束颜色一致性；3) 网络结构的设计，需要能够有效地提取图像特征并进行场景表示学习；4) 损失函数的权重设置，需要平衡色彩恢复、去噪和新视角合成的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Bright-NeRF在自建的多视角低光照RAW图像数据集上进行了实验，结果表明，该方法在色彩恢复、去噪和新视角合成方面显著优于现有的2D和3D方法。具体来说，Bright-NeRF在PSNR、SSIM等指标上均取得了显著提升，并且能够生成更清晰、更逼真的新视角图像。与现有方法相比，Bright-NeRF能够更好地处理低光照条件下的图像，并恢复图像的真实色彩。

🎯 应用场景

Bright-NeRF在低光照成像、夜视应用、安防监控、自动驾驶等领域具有广泛的应用前景。该方法可以用于增强低光照条件下的图像质量，提高图像的可视性和可理解性，从而为后续的图像分析和处理提供更好的基础。此外，Bright-NeRF还可以用于生成高质量的新视角图像，为虚拟现实、增强现实等应用提供更逼真的场景体验。

📄 摘要（原文）

Neural Radiance Fields (NeRFs) have demonstrated prominent performance in novel view synthesis. However, their input heavily relies on image acquisition under normal light conditions, making it challenging to learn accurate scene representation in low-light environments where images typically exhibit significant noise and severe color distortion. To address these challenges, we propose a novel approach, Bright-NeRF, which learns enhanced and high-quality radiance fields from multi-view low-light raw images in an unsupervised manner. Our method simultaneously achieves color restoration, denoising, and enhanced novel view synthesis. Specifically, we leverage a physically-inspired model of the sensor's response to illumination and introduce a chromatic adaptation loss to constrain the learning of response, enabling consistent color perception of objects regardless of lighting conditions. We further utilize the raw data's properties to expose the scene's intensity automatically. Additionally, we have collected a multi-view low-light raw image dataset to advance research in this field. Experimental results demonstrate that our proposed method significantly outperforms existing 2D and 3D approaches. Our code and dataset will be made publicly available.