GaussHDR: High Dynamic Range Gaussian Splatting via Learning Unified 3D and 2D Local Tone Mapping

📄 arXiv: 2503.10143v1 📥 PDF

作者: Jinfeng Liu, Lingtong Kong, Bo Li, Dan Xu

分类: cs.CV

发布日期: 2025-03-13

备注: This paper is accepted by CVPR 2025. Project page is available at https://liujf1226.github.io/GaussHDR

💡 一句话要点

GaussHDR：通过学习统一的3D和2D局部色调映射实现高动态范围高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高动态范围 新视角合成 高斯溅射 局部色调映射 不确定性学习

📋 核心要点

  1. 现有HDR新视角合成方法在3D色调映射训练时不稳定，2D色调映射则降低了模型拟合LDR图像的能力。
  2. GaussHDR的核心思想是通过3D高斯溅射，统一3D和2D局部色调映射，并引入不确定性学习进行自适应调制。
  3. 实验结果表明，GaussHDR在合成和真实场景中均显著优于现有技术水平的方法，实现了更好的HDR重建效果。

📝 摘要（中文）

本文提出GaussHDR，旨在通过多视角低动态范围(LDR)图像重建高动态范围(HDR)场景。针对现有方法中3D色调映射训练不稳定和2D色调映射模型拟合LDR图像能力不足的问题，GaussHDR通过3D高斯溅射统一了3D和2D局部色调映射。具体来说，为3D和2D色调映射设计了残差局部色调映射器，该映射器接受额外的上下文特征作为输入。然后，在损失层面结合来自3D和2D局部色调映射的双重LDR渲染结果。此外，考虑到不同场景在双重结果之间可能表现出不同的平衡，引入不确定性学习，并使用不确定性进行自适应调制。大量实验表明，GaussHDR在合成和真实场景中显著优于最先进的方法。

🔬 方法详解

问题定义：现有HDR新视角合成方法主要存在两个痛点。一是基于3D色调映射的训练范式容易导致HDR重建不稳定。二是直接使用2D色调映射会降低模型拟合LDR图像的能力。此外，现有方法通常采用全局色调映射器，这会阻碍模型学习HDR和LDR表示。

核心思路：GaussHDR的核心思路是结合3D和2D局部色调映射的优点，同时避免各自的缺点。通过3D高斯溅射框架，将3D和2D局部色调映射统一起来，并利用不确定性学习自适应地调整两者的权重。这样既能保证HDR重建的稳定性，又能提升LDR图像的拟合能力。

技术框架：GaussHDR的整体框架包括以下几个主要模块：1) 3D高斯溅射表示：使用3D高斯分布表示场景几何和外观信息。2) 3D局部色调映射器：对3D高斯特征进行局部色调映射，生成LDR图像。3) 2D局部色调映射器：对渲染得到的图像进行2D局部色调映射，生成LDR图像。4) 不确定性学习模块：学习3D和2D渲染结果的不确定性，用于自适应调制。5) 损失函数：结合3D和2D渲染结果的损失，以及不确定性损失。

关键创新：GaussHDR的关键创新在于统一了3D和2D局部色调映射。与现有方法相比，GaussHDR不是简单地选择3D或2D色调映射，而是将两者结合起来，充分利用各自的优势。此外，引入不确定性学习，可以自适应地调整3D和2D渲染结果的权重，从而更好地适应不同的场景。

关键设计：GaussHDR的关键设计包括：1) 残差局部色调映射器：采用残差结构，可以更好地学习局部色调映射的细节。2) 上下文特征：将上下文特征作为局部色调映射器的输入，可以更好地利用场景信息。3) 不确定性学习：使用高斯分布建模3D和2D渲染结果的不确定性，并使用负对数似然损失进行训练。4) 自适应调制：根据不确定性，自适应地调整3D和2D渲染结果的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GaussHDR在合成和真实数据集上都取得了显著的性能提升。在合成数据集上，相比于最先进的方法，PSNR提升了约1-2dB，SSIM提升了约0.01-0.02。在真实数据集上，GaussHDR也取得了类似的提升。这些结果表明，GaussHDR能够有效地重建高质量的HDR场景。

🎯 应用场景

GaussHDR在HDR新视角合成领域具有广泛的应用前景，例如虚拟现实、增强现实、自动驾驶、游戏开发等。它可以用于重建高质量的HDR场景，提升用户体验，并为相关应用提供更真实、更丰富的视觉信息。未来，该技术可以进一步扩展到动态场景的HDR重建，以及与其他视觉任务的结合。

📄 摘要（原文）

High dynamic range (HDR) novel view synthesis (NVS) aims to reconstruct HDR scenes by leveraging multi-view low dynamic range (LDR) images captured at different exposure levels. Current training paradigms with 3D tone mapping often result in unstable HDR reconstruction, while training with 2D tone mapping reduces the model's capacity to fit LDR images. Additionally, the global tone mapper used in existing methods can impede the learning of both HDR and LDR representations. To address these challenges, we present GaussHDR, which unifies 3D and 2D local tone mapping through 3D Gaussian splatting. Specifically, we design a residual local tone mapper for both 3D and 2D tone mapping that accepts an additional context feature as input. We then propose combining the dual LDR rendering results from both 3D and 2D local tone mapping at the loss level. Finally, recognizing that different scenes may exhibit varying balances between the dual results, we introduce uncertainty learning and use the uncertainties for adaptive modulation. Extensive experiments demonstrate that GaussHDR significantly outperforms state-of-the-art methods in both synthetic and real-world scenarios.