LL-Gaussian: Low-Light Scene Reconstruction and Enhancement via Gaussian Splatting for Novel View Synthesis

📄 arXiv: 2504.10331v3 📥 PDF

作者: Hao Sun, Fenggen Yu, Huiyao Xu, Tao Zhang, Changqing Zou

分类: cs.CV

发布日期: 2025-04-14 (更新: 2025-04-19)

备注: Project page: https://sunhao242.github.io/LL-Gaussian_web.github.io/

💡 一句话要点

提出LL-Gaussian，通过高斯溅射实现低光照场景重建与新视角合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 低光照增强 新视角合成 高斯溅射 三维重建 神经渲染

📋 核心要点

  1. 现有NeRF方法在低光照场景新视角合成中面临计算成本高、依赖预处理数据等问题，限制了实用性。
  2. LL-Gaussian通过低光照高斯初始化、双分支高斯分解和无监督优化策略，实现低光照场景的3D重建和增强。
  3. 实验表明，LL-Gaussian在低光照场景下，推理速度提升高达2000倍，训练时间缩短至2%，并提供更优的重建和渲染质量。

📝 摘要（中文）

在低光照场景下的新视角合成（NVS）面临严峻挑战，主要原因是输入图像质量退化，表现为严重的噪声、低动态范围（LDR）和不可靠的初始化。虽然最近基于NeRF的方法取得了一些进展，但它们通常计算成本高昂，并且依赖于精心捕获或预处理的数据（如RAW传感器输入或多曝光序列），这严重限制了它们的实用性。相比之下，3D高斯溅射（3DGS）能够实现实时渲染并具有竞争力的视觉保真度；然而，现有的基于3DGS的方法在处理低光照sRGB输入时表现不佳，导致高斯初始化不稳定和噪声抑制效果不佳。为了解决这些挑战，我们提出了LL-Gaussian，这是一个用于从低光照sRGB图像进行3D重建和增强的新框架，从而实现伪正常光照的新视角合成。我们的方法引入了三个关键创新：1) 端到端的低光照高斯初始化模块（LLGIM），它利用来自基于学习的MVS方法的密集先验来生成高质量的初始点云；2) 双分支高斯分解模型，它将内在场景属性（反射率和光照）与瞬态干扰分离，从而实现稳定且可解释的优化；3) 由物理约束和扩散先验引导的无监督优化策略，以共同指导分解和增强。此外，我们贡献了一个在极端低光照环境下收集的具有挑战性的数据集，并证明了LL-Gaussian的有效性。与最先进的基于NeRF的方法相比，LL-Gaussian实现了高达2000倍的更快推理速度，并将训练时间缩短至仅2%，同时提供了卓越的重建和渲染质量。

🔬 方法详解

问题定义：论文旨在解决低光照场景下新视角合成的问题。现有方法，特别是基于NeRF的方法，在低光照环境下表现不佳，主要痛点在于：1）计算成本高昂，难以实时渲染；2）依赖于特殊的输入数据（如RAW图像或多曝光序列），限制了应用场景；3）在噪声和低动态范围的影响下，重建质量下降。

核心思路：LL-Gaussian的核心思路是利用3D高斯溅射（3DGS）的实时渲染能力，并针对低光照场景的特点进行改进。通过高质量的初始化、解耦场景属性和噪声，以及物理约束和扩散先验引导的优化，实现低光照图像的3D重建和增强，最终生成正常光照下的新视角图像。

技术框架：LL-Gaussian的整体框架包含三个主要模块：1）低光照高斯初始化模块（LLGIM）：利用学习到的MVS先验生成高质量的初始点云，克服了低光照下初始化不稳定的问题。2）双分支高斯分解模型：将高斯参数分解为内在场景属性（反射率和光照）和瞬态干扰，实现更稳定的优化和可解释性。3）无监督优化策略：结合物理约束和扩散先验，共同指导高斯分解和图像增强。

关键创新：LL-Gaussian的关键创新在于：1）针对低光照场景设计了专门的高斯初始化模块，避免了传统方法在低光照下的初始化问题。2）提出了双分支高斯分解模型，将场景属性和噪声解耦，提高了模型的鲁棒性和可解释性。3）采用了无监督优化策略，避免了对配对数据的依赖，提高了模型的泛化能力。

关键设计：LLGIM模块使用了学习到的MVS先验，具体实现细节未知。双分支高斯分解模型将高斯参数分解为反射率、光照和瞬态干扰三个部分，并分别进行优化。无监督优化策略结合了物理约束（如光照平滑性）和扩散先验（利用预训练的扩散模型作为正则化项），以提高图像质量和重建精度。损失函数的设计未知，但推测包含了重建损失、物理约束损失和扩散先验损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LL-Gaussian在低光照场景新视角合成任务上取得了显著的性能提升。与最先进的NeRF方法相比，LL-Gaussian实现了高达2000倍的推理速度提升，训练时间缩短至仅2%。在重建质量和渲染质量方面，LL-Gaussian也优于现有方法，尤其是在噪声抑制和细节恢复方面表现出色。论文还贡献了一个新的低光照数据集，为该领域的研究提供了宝贵资源。

🎯 应用场景

LL-Gaussian在安防监控、自动驾驶、机器人导航等领域具有广泛的应用前景。在低光照或夜间环境下，该技术可以提升图像质量，增强场景理解能力，从而提高系统的可靠性和安全性。此外，该技术还可以应用于虚拟现实和增强现实等领域，提供更逼真的低光照场景体验。

📄 摘要（原文）

Novel view synthesis (NVS) in low-light scenes remains a significant challenge due to degraded inputs characterized by severe noise, low dynamic range (LDR) and unreliable initialization. While recent NeRF-based approaches have shown promising results, most suffer from high computational costs, and some rely on carefully captured or pre-processed data--such as RAW sensor inputs or multi-exposure sequences--which severely limits their practicality. In contrast, 3D Gaussian Splatting (3DGS) enables real-time rendering with competitive visual fidelity; however, existing 3DGS-based methods struggle with low-light sRGB inputs, resulting in unstable Gaussian initialization and ineffective noise suppression. To address these challenges, we propose LL-Gaussian, a novel framework for 3D reconstruction and enhancement from low-light sRGB images, enabling pseudo normal-light novel view synthesis. Our method introduces three key innovations: 1) an end-to-end Low-Light Gaussian Initialization Module (LLGIM) that leverages dense priors from learning-based MVS approach to generate high-quality initial point clouds; 2) a dual-branch Gaussian decomposition model that disentangles intrinsic scene properties (reflectance and illumination) from transient interference, enabling stable and interpretable optimization; 3) an unsupervised optimization strategy guided by both physical constrains and diffusion prior to jointly steer decomposition and enhancement. Additionally, we contribute a challenging dataset collected in extreme low-light environments and demonstrate the effectiveness of LL-Gaussian. Compared to state-of-the-art NeRF-based methods, LL-Gaussian achieves up to 2,000 times faster inference and reduces training time to just 2%, while delivering superior reconstruction and rendering quality.