HDRSplat: Gaussian Splatting for High Dynamic Range 3D Scene Reconstruction from Raw Images
作者: Shreyas Singh, Aryan Garg, Kaushik Mitra
分类: cs.CV, eess.IV
发布日期: 2024-07-23
💡 一句话要点
HDRSplat：利用高动态范围原始图像进行3D高斯溅射场景重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高动态范围 3D场景重建 高斯溅射 原始图像 新视角合成
📋 核心要点
- 现有3DGS方法依赖于低动态范围图像，在高动态范围场景（如夜景或高对比度场景）中重建效果不佳。
- HDRSplat直接在14位线性原始图像上训练3DGS，提出了一种新的HDR空间损失函数和光栅化调整策略。
- 实验表明，HDRSplat在HDR场景重建速度上比RawNeRF快30倍，推理速度达到120fps，并支持多种应用。
📝 摘要（中文）
3D高斯溅射(3DGS)的出现彻底改变了3D场景重建领域，实现了实时高保真新视角合成。然而，除了RawNeRF之外，所有先前的基于3DGS和NeRF的方法都依赖于8位色调映射的低动态范围(LDR)图像进行场景重建。这些方法难以在需要更高动态范围的场景中实现精确重建，例如在夜间或光线不足的室内空间中捕获的具有低信噪比的场景，以及具有极端对比度的阴影区域的日光场景。我们提出的方法HDRSplat定制了3DGS，可以直接在接近黑暗的14位线性原始图像上进行训练，从而保留场景的完整动态范围和内容。我们的主要贡献有两个方面：首先，我们提出了一种适用于线性HDR空间的损失函数，可以有效地从嘈杂的黑暗区域和接近饱和的明亮区域同时提取场景信息，同时处理与视角相关的颜色，而无需增加球谐函数的阶数。其次，通过仔细的光栅化调整，我们隐式地克服了3DGS对点云初始化的严重依赖和敏感性。这对于在低纹理、高景深和低照度的区域中进行精确重建至关重要。HDRSplat是迄今为止最快的方法，可以在≤15分钟/场景内完成14位(HDR)3D场景重建(比之前的最先进的RawNeRF快约30倍)。它还拥有最快的推理速度，≥120fps。我们进一步展示了我们的HDR场景重建的适用性，展示了各种应用，如合成散焦、密集深度图提取以及曝光、色调映射和视点的后捕获控制。
🔬 方法详解
问题定义：现有基于3DGS的场景重建方法主要依赖于低动态范围（LDR）图像，这限制了它们在高动态范围（HDR）场景中的应用。例如，在光线不足的室内环境、夜景或具有极端对比度的场景中，LDR图像会丢失大量信息，导致重建质量下降。因此，如何直接利用原始HDR图像进行高质量的3D场景重建是一个关键问题。
核心思路：HDRSplat的核心思路是直接在14位线性原始图像上训练3DGS模型，以保留场景的完整动态范围信息。为了解决原始图像的噪声和高动态范围带来的挑战，该方法提出了一种新的HDR空间损失函数，并对3DGS的光栅化过程进行了调整，以减少对点云初始化的依赖。
技术框架：HDRSplat的整体框架基于3DGS，但针对HDR图像进行了优化。主要流程包括：1）获取14位线性原始图像；2）使用HDR空间损失函数训练3DGS模型，该损失函数能够同时处理噪声和高动态范围；3）通过调整光栅化过程，减少对点云初始化的依赖；4）利用训练好的3DGS模型进行新视角合成、深度图提取等应用。
关键创新：HDRSplat的关键创新在于：1）提出了一种适用于线性HDR空间的损失函数，能够有效地从噪声区域和饱和区域提取信息，并处理视角相关的颜色；2）通过光栅化调整，降低了3DGS对点云初始化的敏感性，使其能够在低纹理、高景深和低照度的区域中进行准确重建。
关键设计：HDR空间损失函数的设计考虑了原始图像的噪声特性和高动态范围。具体来说，该损失函数可能包含对噪声的鲁棒性处理，以及对不同曝光区域的自适应权重调整。光栅化调整可能涉及到对高斯分布参数的优化，以更好地适应HDR图像的特性。具体的网络结构细节未知，但可以推测其与标准3DGS类似，主要区别在于损失函数和光栅化过程的优化。
🖼️ 关键图片
📊 实验亮点
HDRSplat在HDR场景重建速度上取得了显著提升，比之前的最先进方法RawNeRF快约30倍，可以在≤15分钟/场景内完成重建。同时，HDRSplat的推理速度也达到了≥120fps，能够实现实时渲染。这些实验结果表明，HDRSplat是一种高效、高质量的HDR场景重建方法，具有很强的实用价值。
🎯 应用场景
HDRSplat的潜在应用领域包括：增强现实（AR）、虚拟现实（VR）、自动驾驶、机器人导航等。通过高质量的HDR场景重建，可以为这些应用提供更真实、更可靠的环境信息。此外，HDRSplat还支持后捕获的曝光控制、色调映射和视点调整，为摄影和电影制作提供了新的可能性。该研究的实际价值在于提高了3D场景重建的质量和效率，并为未来的HDR场景理解和应用奠定了基础。
📄 摘要（原文）
The recent advent of 3D Gaussian Splatting (3DGS) has revolutionized the 3D scene reconstruction space enabling high-fidelity novel view synthesis in real-time. However, with the exception of RawNeRF, all prior 3DGS and NeRF-based methods rely on 8-bit tone-mapped Low Dynamic Range (LDR) images for scene reconstruction. Such methods struggle to achieve accurate reconstructions in scenes that require a higher dynamic range. Examples include scenes captured in nighttime or poorly lit indoor spaces having a low signal-to-noise ratio, as well as daylight scenes with shadow regions exhibiting extreme contrast. Our proposed method HDRSplat tailors 3DGS to train directly on 14-bit linear raw images in near darkness which preserves the scenes' full dynamic range and content. Our key contributions are two-fold: Firstly, we propose a linear HDR space-suited loss that effectively extracts scene information from noisy dark regions and nearly saturated bright regions simultaneously, while also handling view-dependent colors without increasing the degree of spherical harmonics. Secondly, through careful rasterization tuning, we implicitly overcome the heavy reliance and sensitivity of 3DGS on point cloud initialization. This is critical for accurate reconstruction in regions of low texture, high depth of field, and low illumination. HDRSplat is the fastest method to date that does 14-bit (HDR) 3D scene reconstruction in $\le$15 minutes/scene ($\sim$30x faster than prior state-of-the-art RawNeRF). It also boasts the fastest inference speed at $\ge$120fps. We further demonstrate the applicability of our HDR scene reconstruction by showcasing various applications like synthetic defocus, dense depth map extraction, and post-capture control of exposure, tone-mapping and view-point.