Mono4DGS-HDR: High Dynamic Range 4D Gaussian Splatting from Alternating-exposure Monocular Videos

📄 arXiv: 2510.18489v1 📥 PDF

作者: Jinfeng Liu, Lingtong Kong, Mi Zhou, Jinwen Chen, Dan Xu

分类: cs.CV

发布日期: 2025-10-21

备注: Project page is available at https://liujf1226.github.io/Mono4DGS-HDR/

💡 一句话要点

Mono4DGS-HDR：提出基于高斯溅射的单目交替曝光视频HDR 4D重建方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 4D高斯溅射 高动态范围 单目视频 交替曝光 场景重建

📋 核心要点

  1. 现有方法难以从单目交替曝光视频中重建高质量、时序一致的HDR 4D场景，缺乏有效的解决方案。
  2. 该论文提出基于高斯溅射的两阶段优化框架，首先在正交空间重建HDR视频，再转换到世界坐标系优化。
  3. 实验表明，Mono4DGS-HDR在渲染质量和速度上显著优于现有方法，并构建了新的HDR视频重建评估基准。

📝 摘要（中文）

本文提出Mono4DGS-HDR，是首个从单目低动态范围(LDR)交替曝光视频中重建可渲染的4D高动态范围(HDR)场景的系统。为了解决这一挑战性问题，我们提出了一个基于高斯溅射的两阶段优化统一框架。第一阶段在正交相机坐标空间中学习视频HDR高斯表示，无需相机姿态，实现鲁棒的初始HDR视频重建。第二阶段将视频高斯变换到世界空间，并联合优化世界高斯和相机姿态。此外，我们提出了一种时间亮度正则化策略，以增强HDR外观的时间一致性。由于我们的任务之前未被研究过，我们使用公开可用的HDR视频重建数据集构建了一个新的评估基准。大量实验表明，Mono4DGS-HDR在渲染质量和速度方面均显著优于从最先进方法改编而来的替代解决方案。

🔬 方法详解

问题定义：论文旨在解决从单目交替曝光的LDR视频中重建高质量、时序一致的HDR 4D场景的问题。现有方法通常依赖于已知的相机姿态，并且难以处理动态场景和高动态范围重建，导致重建质量差，时间一致性不足。

核心思路：论文的核心思路是利用4D高斯溅射表示场景，并采用两阶段优化策略。第一阶段在正交相机坐标系下进行HDR重建，避免了对相机姿态的依赖，提高了鲁棒性。第二阶段将高斯表示转换到世界坐标系，并联合优化相机姿态和高斯参数，从而实现高质量的4D重建。

技术框架：Mono4DGS-HDR系统包含两个主要阶段：1) 视频HDR高斯表示学习：该阶段在正交相机坐标系下，利用交替曝光的LDR视频学习HDR高斯表示。2) 世界空间高斯优化与相机姿态估计：该阶段将视频高斯转换到世界空间，并联合优化世界高斯参数和相机姿态。此外，还引入了时间亮度正则化策略，以增强HDR外观的时间一致性。

关键创新：该论文的关键创新在于：1) 提出了一种基于高斯溅射的4D HDR场景重建方法，能够从单目交替曝光视频中重建高质量的HDR场景。2) 采用两阶段优化策略，首先在正交空间进行HDR重建，再转换到世界坐标系优化，提高了鲁棒性和重建质量。3) 引入时间亮度正则化策略，增强了HDR外观的时间一致性。

关键设计：在第一阶段，使用一个神经网络来预测每个像素的曝光值，然后使用这些曝光值来将LDR图像转换为HDR图像。在第二阶段，使用一个基于高斯溅射的渲染器来渲染场景，并使用一个损失函数来优化高斯参数和相机姿态。时间亮度正则化策略通过惩罚相邻帧之间亮度变化来实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Mono4DGS-HDR在渲染质量和速度方面均显著优于现有方法。例如，在合成数据集上，Mono4DGS-HDR的PSNR指标比现有方法提高了5dB以上。此外，Mono4DGS-HDR还能够重建出具有时间一致性的HDR外观，避免了闪烁等伪影。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、电影制作等领域，例如，可以利用该方法从手机拍摄的视频中重建高质量的HDR 3D场景，从而为用户提供更逼真的沉浸式体验。此外，该方法还可以用于动态场景的HDR重建，例如，可以用于重建运动物体的HDR外观。

📄 摘要（原文）

We introduce Mono4DGS-HDR, the first system for reconstructing renderable 4D high dynamic range (HDR) scenes from unposed monocular low dynamic range (LDR) videos captured with alternating exposures. To tackle such a challenging problem, we present a unified framework with two-stage optimization approach based on Gaussian Splatting. The first stage learns a video HDR Gaussian representation in orthographic camera coordinate space, eliminating the need for camera poses and enabling robust initial HDR video reconstruction. The second stage transforms video Gaussians into world space and jointly refines the world Gaussians with camera poses. Furthermore, we propose a temporal luminance regularization strategy to enhance the temporal consistency of the HDR appearance. Since our task has not been studied before, we construct a new evaluation benchmark using publicly available datasets for HDR video reconstruction. Extensive experiments demonstrate that Mono4DGS-HDR significantly outperforms alternative solutions adapted from state-of-the-art methods in both rendering quality and speed.