DelowlightSplat: Feed-Forward Gaussian Splatting for Lowlight 3D Scene Reconstruction

📄 arXiv: 2605.26629v1 📥 PDF

作者: Fuzhen Jiang, Zengtian Xie, Zhuoran Li

分类: cs.CV

发布日期: 2026-05-26

💡 一句话要点

DelowlightSplat：用于弱光3D场景重建的前馈高斯溅射方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 弱光增强 3D重建 高斯溅射 新视角合成 代价体 多视角立体视觉

📋 核心要点

  1. 弱光环境下，噪声、色彩偏移和不可靠的对应关系导致现有前馈3D高斯重建方法失效。
  2. DelowlightSplat通过弱光适配器增强图像匹配度，并结合代价体多视角推理直接预测清晰的3D高斯分布。
  3. 实验表明，DelowlightSplat在弱光条件下显著优于以往的前馈方法和两阶段流程，提升了重建质量。

📝 摘要（中文）

本文提出DelowlightSplat，一个弱光感知的前馈高斯溅射框架，用于生成清晰的新视角渲染结果，解决稀疏姿态图像下的新视角合成和3D重建问题，该问题在机器人和AR/VR领域至关重要。由于噪声、色彩偏移和不可靠的对应关系，前馈3D高斯重建在弱光条件下会失效。我们构建了一个可控的多视角弱光基准，仅降低上下文视角的质量，同时保持目标视角的清晰。我们引入了一个轻量级的弱光适配器进行残差增强，以提高匹配度，并将其与基于代价体的多视角推理相结合，以直接预测清晰的3D高斯分布。实验表明，DelowlightSplat在弱光条件下显著优于以往的前馈方法和两阶段流程。

🔬 方法详解

问题定义：论文旨在解决弱光环境下，由于图像质量下降导致的前馈3D高斯溅射重建性能降低的问题。现有方法在弱光条件下，容易受到噪声、色彩偏移和特征匹配不准确的影响，从而导致重建结果质量差，新视角渲染效果不佳。

核心思路：论文的核心思路是设计一个弱光感知的框架，通过图像增强和多视角信息融合，提高在弱光环境下的特征匹配准确性和重建质量。具体来说，首先使用一个轻量级的弱光适配器对输入图像进行增强，然后利用代价体进行多视角信息融合，最后直接预测清晰的3D高斯分布。

技术框架：DelowlightSplat框架主要包含以下几个模块：1) Lowlight Adapter: 用于对输入图像进行残差增强，提高图像的对比度和亮度，减少噪声和色彩偏移；2) Cost Volume Construction: 基于增强后的图像，构建多视角的代价体，用于估计像素之间的对应关系；3) Gaussian Splatting Layer: 利用代价体的信息，直接预测3D高斯分布的参数，包括位置、尺度、旋转和颜色等。

关键创新：论文的关键创新在于：1) 提出了一个轻量级的弱光适配器，能够有效地增强弱光图像的质量，提高特征匹配的准确性；2) 将弱光适配器与基于代价体的多视角推理相结合，直接预测清晰的3D高斯分布，避免了传统方法中需要进行深度估计和网格重建的步骤；3) 构建了一个可控的多视角弱光基准，用于评估弱光环境下的3D重建性能。

关键设计：Lowlight Adapter采用残差学习的方式，学习输入图像和增强图像之间的残差。Cost Volume Construction模块使用可微分的warping操作，将不同视角的特征图warp到参考视角，然后计算特征之间的相似度。Gaussian Splatting Layer使用可微分的渲染公式，将3D高斯分布投影到2D图像平面，并计算渲染损失。损失函数包括渲染损失、深度损失和正则化损失，用于约束重建结果的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DelowlightSplat在弱光条件下显著优于以往的前馈方法和两阶段流程。在自建的弱光数据集上，DelowlightSplat的PSNR指标比最先进的前馈方法提高了约2dB，SSIM指标提高了约0.05。此外，DelowlightSplat的运行速度也比两阶段流程更快，更适合实时应用。

🎯 应用场景

DelowlightSplat在机器人、AR/VR等领域具有广泛的应用前景。例如，在弱光环境下，机器人可以利用该方法进行场景重建和导航；AR/VR应用可以利用该方法生成高质量的虚拟场景，提高用户体验。此外，该方法还可以应用于夜间监控、医学影像等领域，提高图像的可视化效果和分析精度。

📄 摘要（原文）

Novel-view synthesis and 3D reconstruction from sparse posed images are central to robotics and AR/VR. Yet, feed-forward 3D Gaussian reconstruction fails under lowlight due to noise, color shifts, and unreliable correspondence. We propose DelowlightSplat, a lowlight-aware feed-forward Gaussian splatting framework for clean novel-view rendering. We build a controllable multi-view lowlight benchmark by degrading only context views while keeping target views clean. We introduce a lightweight Lowlight Adapter for residual enhancement to improve matchability, and couple it with cost-volume-based multi-view inference to directly predict clean 3D Gaussians. Experiments show that DelowlightSplat significantly outperforms previous feed-forward method and two-stage pipeline under lowlight conditions.