Physically Inspired Gaussian Splatting for HDR Novel View Synthesis

📄 arXiv: 2603.28020v1 📥 PDF

作者: Huimin Zeng, Yue Bai, Hailing Wang, Yun Fu

分类: cs.CV

发布日期: 2026-03-30

备注: Accepted to CVPR 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PhysHDR-GS，通过物理启发的高斯溅射实现HDR新视角合成，显著提升细节重建效果。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: HDR新视角合成 高斯溅射 物理启发 光照建模 梯度缩放

📋 核心要点

  1. 现有HDR新视角合成方法难以捕捉环境光照依赖的场景外观，导致细节重建效果不佳。
  2. PhysHDR-GS通过解耦内在反射率和可调节环境光照，并引入互补分支来建模场景外观。
  3. 实验结果表明，PhysHDR-GS在HDR细节重建方面优于现有方法，并保持了实时渲染速度。

📝 摘要（中文）

本文提出了一种物理启发的HDR新视角合成框架PhysHDR-GS，旨在解决现有方法难以捕捉环境光照依赖的场景外观问题。现有方法通过约束色调映射结果来隐式监督HDR内容，无法校正异常HDR值，并且导致高斯在曝光不足/过度区域的梯度受限。PhysHDR-GS通过内在反射率和可调节的环境光照来建模场景外观。该框架采用互补的图像曝光(IE)分支和高斯光照(GI)分支，分别用于忠实地重现标准相机观测结果和捕获光照依赖的外观变化。在训练过程中，提出的跨分支HDR一致性损失为HDR内容提供显式监督，而光照引导的梯度缩放策略减轻了曝光偏差导致的梯度匮乏，并减少了欠密集表示。在真实和合成数据集上的实验结果表明，该方法在重建HDR细节方面具有优越性（例如，PSNR增益超过HDR-GS 2.04 dB），同时保持了实时渲染速度（高达76 FPS）。

🔬 方法详解

问题定义：HDR新视角合成旨在从多曝光低动态范围(LDR)图像中重建具有动态细节的场景。然而，现有方法难以捕捉环境光照依赖的场景外观，并且在曝光不足或过度的区域，高斯参数的梯度更新受限，导致重建质量下降。现有方法通常通过色调映射后的LDR图像来隐式监督HDR内容，但这种方式无法有效校正异常的HDR值。

核心思路：PhysHDR-GS的核心思想是将场景外观分解为内在反射率和可调节的环境光照。通过显式地建模光照对场景外观的影响，可以更准确地重建HDR内容，并解决梯度受限的问题。该方法利用高斯溅射作为底层表示，并引入了两个互补的分支来分别处理图像曝光和高斯光照。

技术框架：PhysHDR-GS框架包含两个主要分支：图像曝光(IE)分支和高斯光照(GI)分支。IE分支负责重现标准相机观测结果，GI分支负责捕获光照依赖的外观变化。这两个分支共享底层的高斯表示，并通过跨分支HDR一致性损失进行约束。在训练过程中，首先使用多曝光LDR图像训练IE分支，然后使用IE分支的输出初始化GI分支。最后，联合训练两个分支，并使用光照引导的梯度缩放策略来缓解梯度匮乏问题。

关键创新：PhysHDR-GS的关键创新在于：1) 显式地建模了光照对场景外观的影响，从而更准确地重建HDR内容；2) 提出了跨分支HDR一致性损失，为HDR内容提供显式监督；3) 引入了光照引导的梯度缩放策略，缓解了梯度匮乏问题，并减少了欠密集表示。

关键设计：PhysHDR-GS的关键设计包括：1) 使用高斯溅射作为底层表示，可以实现实时渲染；2) 采用互补的IE和GI分支，分别处理图像曝光和光照依赖的外观变化；3) 设计了跨分支HDR一致性损失，确保两个分支输出的HDR内容一致；4) 提出了光照引导的梯度缩放策略，根据光照强度调整梯度大小，缓解梯度匮乏问题。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PhysHDR-GS在真实和合成数据集上都取得了显著的性能提升。在合成数据集上，PhysHDR-GS的PSNR比HDR-GS提高了2.04 dB。在真实数据集上，PhysHDR-GS也取得了类似的性能提升。此外，PhysHDR-GS还保持了实时渲染速度，可以达到76 FPS。

🎯 应用场景

PhysHDR-GS在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于创建更逼真、更具沉浸感的虚拟场景，并可以用于模拟不同光照条件下的场景外观。此外，该方法还可以应用于HDR图像编辑、HDR视频合成等领域，具有重要的实际价值。

📄 摘要（原文）

High dynamic range novel view synthesis (HDR-NVS) reconstructs scenes with dynamic details by fusing multi-exposure low dynamic range (LDR) views, yet it struggles to capture ambient illumination-dependent appearance. Implicitly supervising HDR content by constraining tone-mapped results fails in correcting abnormal HDR values, and results in limited gradients for Gaussians in under/over-exposed regions. To this end, we introduce PhysHDR-GS, a physically inspired HDR-NVS framework that models scene appearance via intrinsic reflectance and adjustable ambient illumination. PhysHDR-GS employs a complementary image-exposure (IE) branch and Gaussian-illumination (GI) branch to faithfully reproduce standard camera observations and capture illumination-dependent appearance changes, respectively. During training, the proposed cross-branch HDR consistency loss provides explicit supervision for HDR content, while an illumination-guided gradient scaling strategy mitigates exposure-biased gradient starvation and reduces under-densified representations. Experimental results across realistic and synthetic datasets demonstrate our superiority in reconstructing HDR details (e.g., a PSNR gain of 2.04 dB over HDR-GS), while maintaining real-time rendering speed (up to 76 FPS). Code and models are available at https://huimin-zeng.github.io/PhysHDR-GS/.