Gaussian in the Dark: Real-Time View Synthesis From Inconsistent Dark Images Using Gaussian Splatting
作者: Sheng Ye, Zhen-Hui Dong, Yubin Hu, Yu-Hui Wen, Yong-Jin Liu
分类: cs.CV
发布日期: 2024-08-17 (更新: 2024-08-20)
备注: accepted by PG 2024
💡 一句话要点
Gaussian-DK：利用高斯溅射从不一致的黑暗图像中进行实时视角合成
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯溅射 视角合成 黑暗图像 相机响应 梯度缩放 三维重建 低光照 图像增强
📋 核心要点
- 现有3D高斯溅射方法在光照不足环境下，由于图像亮度变化和多视角不一致性，性能显著下降。
- Gaussian-DK通过相机响应模块补偿多视角不一致性，并使用梯度缩放策略抑制浮动高斯。
- 实验表明，Gaussian-DK在黑暗图像视角合成上优于现有方法，并能通过调整曝光合成光照图像。
📝 摘要（中文）
3D高斯溅射最近成为一种强大的表示方法，它可以使用一致的多视角图像作为输入来合成出色的新视角。然而，我们注意到，在黑暗环境中拍摄的图像，由于场景没有完全被照亮，会表现出相当大的亮度变化和多视角不一致性，这对3D高斯溅射提出了巨大的挑战，并严重降低了其性能。为了解决这个问题，我们提出了Gaussian-DK。观察到不一致性主要是由相机成像引起的，我们使用一组各向异性的3D高斯来表示物理世界的一致辐射场，并设计了一个相机响应模块来补偿多视角不一致性。我们还引入了一种基于步长的梯度缩放策略，以约束相机附近的高斯（即浮动高斯）避免分裂和克隆。在我们提出的基准数据集上的实验表明，Gaussian-DK产生了高质量的渲染效果，没有重影和浮动伪影，并且明显优于现有方法。此外，我们还可以通过控制曝光水平来合成光照图像，从而清晰地显示阴影区域的细节。
🔬 方法详解
问题定义：论文旨在解决在光照不足的黑暗环境中，由于图像亮度变化和多视角不一致性，导致3D高斯溅射方法在新视角合成时性能严重下降的问题。现有方法难以处理这种不一致性，导致渲染结果出现重影和浮动伪影。
核心思路：论文的核心思路是认为多视角不一致性主要来源于相机成像过程，因此通过建模相机响应来补偿这种不一致性。同时，为了避免在优化过程中产生不稳定的浮动高斯，引入梯度缩放策略进行约束。
技术框架：Gaussian-DK的整体框架包括以下几个主要模块：1) 使用各向异性3D高斯表示场景的辐射场；2) 设计相机响应模块，用于补偿多视角图像之间的不一致性；3) 引入基于步长的梯度缩放策略，以约束相机附近的高斯。
关键创新：该论文的关键创新在于：1) 提出了相机响应模块，能够有效地补偿黑暗环境中多视角图像的不一致性；2) 引入了基于步长的梯度缩放策略，解决了高斯溅射中常见的浮动高斯问题，提高了渲染质量。
关键设计：相机响应模块的具体设计未知，但其目标是学习一个映射，将不同视角的图像映射到一个一致的辐射场表示。梯度缩放策略的关键在于如何根据优化步长动态调整梯度的大小，以避免高斯分裂和克隆。具体的损失函数和网络结构细节未知。
🖼️ 关键图片
📊 实验亮点
Gaussian-DK在提出的基准数据集上进行了实验，结果表明其能够生成高质量的渲染图像，有效避免了重影和浮动伪影，并且显著优于现有的方法。具体性能数据和对比基线未知，但摘要强调了其在视觉效果上的显著提升。此外，该方法还能够通过控制曝光水平来合成光照图像，清晰地展示阴影区域的细节。
🎯 应用场景
该研究成果可应用于夜间或低光照条件下的三维重建、虚拟现实、自动驾驶等领域。通过该方法，可以从黑暗环境中拍摄的图像中生成高质量的三维模型和新视角图像，从而提高相关应用在复杂光照条件下的鲁棒性和实用性。此外，该方法还可用于图像增强，通过调整曝光水平来揭示隐藏在阴影中的细节。
📄 摘要（原文）
3D Gaussian Splatting has recently emerged as a powerful representation that can synthesize remarkable novel views using consistent multi-view images as input. However, we notice that images captured in dark environments where the scenes are not fully illuminated can exhibit considerable brightness variations and multi-view inconsistency, which poses great challenges to 3D Gaussian Splatting and severely degrades its performance. To tackle this problem, we propose Gaussian-DK. Observing that inconsistencies are mainly caused by camera imaging, we represent a consistent radiance field of the physical world using a set of anisotropic 3D Gaussians, and design a camera response module to compensate for multi-view inconsistencies. We also introduce a step-based gradient scaling strategy to constrain Gaussians near the camera, which turn out to be floaters, from splitting and cloning. Experiments on our proposed benchmark dataset demonstrate that Gaussian-DK produces high-quality renderings without ghosting and floater artifacts and significantly outperforms existing methods. Furthermore, we can also synthesize light-up images by controlling exposure levels that clearly show details in shadow areas.