HDRGS: High Dynamic Range Gaussian Splatting
作者: Jiahao Wu, Lu Xiao, Rui Peng, Kaiqiang Xiong, Ronggang Wang
分类: cs.CV, cs.AI
发布日期: 2024-08-13 (更新: 2024-11-03)
💡 一句话要点
提出HDR-GS方法，利用高动态范围高斯溅射技术重建高质量HDR场景。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高动态范围 高斯溅射 三维重建 神经辐射场 多曝光图像
📋 核心要点
- 现有方法在从多曝光LDR图像重建HDR场景时，面临效率、质量和鲁棒性等挑战，尤其是基于MLP的隐式方法和基于网格的方法。
- HDR-GS方法的核心在于将高斯溅射技术扩展到HDR场景重建，并引入亮度信息和非对称色调映射，以提升颜色维度和转换效率。
- 实验结果表明，HDR-GS在合成和真实场景中均优于现有技术，尤其在稀疏视点和极端曝光条件下，展现出更强的鲁棒性和收敛速度。
📝 摘要（中文）
近年来，从2D图像重建3D模型领域取得了显著进展，尤其是在引入神经辐射场（NeRF）技术之后。然而，从2D多曝光低动态范围（LDR）图像重建更贴近真实世界条件的高动态范围（HDR）辐射场仍然面临重大挑战。解决这个问题的方法分为两类：基于网格的和基于隐式的。基于隐式的方法，使用多层感知器（MLP），面临效率低下、可解性有限和过拟合风险。相反，基于网格的方法需要大量内存，并且在图像质量和训练时间方面表现不佳。在本文中，我们将高斯溅射（Gaussian Splatting）——一种最新的、高质量、实时的3D重建技术——引入到该领域。我们进一步开发了高动态范围高斯溅射（HDR-GS）方法，旨在解决上述挑战。该方法通过包含亮度来增强颜色维度，并使用非对称网格进行色调映射，从而快速准确地将像素辐照度转换为颜色。我们的方法提高了HDR场景恢复的准确性，并集成了一种新颖的由粗到精的策略来加速模型收敛，增强了对稀疏视点和极端曝光的鲁棒性，并防止了局部最优。广泛的测试证实，我们的方法在合成和真实场景中都优于当前最先进的技术。
🔬 方法详解
问题定义：论文旨在解决从多曝光LDR图像重建高质量HDR场景的问题。现有方法，如基于MLP的隐式方法，存在效率低、易过拟合等问题；而基于网格的方法则需要大量内存，且图像质量和训练时间表现不佳。这些方法难以在保证重建质量的同时，兼顾效率和鲁棒性。
核心思路：论文的核心思路是将最近提出的高斯溅射（Gaussian Splatting）技术扩展到HDR场景重建。高斯溅射以其高质量和实时渲染能力而闻名，通过显式地表示场景几何和外观，避免了隐式方法的局限性。同时，论文针对HDR场景的特殊性，对高斯溅射进行了改进，以更好地处理高动态范围数据。
技术框架：HDR-GS方法主要包含以下几个阶段：1）从多曝光LDR图像中估计场景的辐照度；2）使用高斯分布表示场景的几何和外观，每个高斯分布包含位置、协方差、颜色（包括亮度）等参数；3）使用非对称网格进行色调映射，将辐照度转换为颜色；4）通过渲染方程将高斯分布投影到图像平面，并计算像素颜色；5）使用损失函数优化高斯分布的参数，以最小化渲染图像与真实图像之间的差异。此外，论文还采用了由粗到精的策略来加速模型收敛。
关键创新：HDR-GS的关键创新在于以下几点：1）将高斯溅射技术应用于HDR场景重建，充分利用了高斯溅射的实时渲染和高质量重建能力；2）引入亮度信息，扩展了颜色维度，更好地表示HDR场景的光照信息；3）使用非对称网格进行色调映射，提高了颜色转换的效率和准确性；4）提出了一种由粗到精的训练策略，加速了模型收敛，并提高了对稀疏视点和极端曝光的鲁棒性。
关键设计：论文的关键设计包括：1）使用包含亮度的颜色表示，例如将颜色表示为(R, G, B, L)，其中L表示亮度；2）设计非对称网格的色调映射函数，以适应HDR场景的动态范围；3）采用由粗到精的训练策略，首先使用低分辨率图像进行训练，然后逐步提高分辨率；4）使用L1损失函数和感知损失函数来优化高斯分布的参数，以提高重建图像的质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HDR-GS方法在合成和真实场景中均优于当前最先进的技术。在合成数据集上，HDR-GS在PSNR、SSIM等指标上取得了显著提升。在真实数据集上，HDR-GS能够重建出更清晰、更真实的HDR场景，尤其是在光照变化剧烈的区域。此外，HDR-GS的训练速度也明显快于其他方法，具有更高的效率。
🎯 应用场景
HDR-GS方法具有广泛的应用前景，包括虚拟现实（VR）、增强现实（AR）、自动驾驶、机器人导航等领域。它可以用于重建高质量的HDR场景，为用户提供更逼真的视觉体验。此外，该方法还可以用于图像编辑、光照调整等应用，具有重要的实际价值。未来，该方法有望进一步扩展到动态场景重建、光照估计等领域。
📄 摘要（原文）
Recent years have witnessed substantial advancements in the field of 3D reconstruction from 2D images, particularly following the introduction of the neural radiance field (NeRF) technique. However, reconstructing a 3D high dynamic range (HDR) radiance field, which aligns more closely with real-world conditions, from 2D multi-exposure low dynamic range (LDR) images continues to pose significant challenges. Approaches to this issue fall into two categories: grid-based and implicit-based. Implicit methods, using multi-layer perceptrons (MLP), face inefficiencies, limited solvability, and overfitting risks. Conversely, grid-based methods require significant memory and struggle with image quality and long training times. In this paper, we introduce Gaussian Splatting-a recent, high-quality, real-time 3D reconstruction technique-into this domain. We further develop the High Dynamic Range Gaussian Splatting (HDR-GS) method, designed to address the aforementioned challenges. This method enhances color dimensionality by including luminance and uses an asymmetric grid for tone-mapping, swiftly and precisely converting pixel irradiance to color. Our approach improves HDR scene recovery accuracy and integrates a novel coarse-to-fine strategy to speed up model convergence, enhancing robustness against sparse viewpoints and exposure extremes, and preventing local optima. Extensive testing confirms that our method surpasses current state-of-the-art techniques in both synthetic and real-world scenarios.