Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis

📄 arXiv: 2604.13589v1 📥 PDF

作者: Yuchao Chen, Hanqing Wang

分类: cs.CV

发布日期: 2026-04-15

💡 一句话要点

提出Dehaze-then-Splat，用于烟雾去除和新视角合成。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 烟雾去除 新视角合成 3D高斯溅射 物理信息辅助 多视角一致性

📋 核心要点

  1. 现有去雾重建流程在逐图像去雾后，难以保证多视角一致性，导致渲染模糊和结构不稳定。
  2. Dehaze-then-Splat通过两阶段流程，先去雾再进行3D高斯溅射，并引入物理信息辅助损失来提升多视角一致性。
  3. 实验表明，结合MCMC密度增加、提前停止以及深度和雾霾抑制先验，可有效缓解伪影，显著提升新视角合成质量。

📝 摘要（中文）

本文提出了Dehaze-then-Splat，一个两阶段流程，用于多视角烟雾去除和新视角合成，专为NTIRE 2026 3D修复与重建挑战赛的Track 2开发。第一阶段，我们使用Nano Banana Pro进行逐帧生成式去雾，并进行亮度归一化，从而生成伪干净的训练图像。第二阶段，我们使用物理信息辅助损失训练3D高斯溅射（3DGS），包括通过与伪深度进行Pearson相关的深度监督、暗通道先验正则化和双源梯度匹配，以补偿逐帧生成处理中固有的跨视角不一致性。我们发现去雾-重建流程中存在一个根本矛盾：逐图像恢复质量并不保证多视角一致性，这种不一致性表现为模糊的渲染和下游3D重建中的结构不稳定。我们的分析表明，基于MCMC的密度增加与提前停止相结合，以及深度和雾霾抑制先验，可以有效地缓解这些伪影。在Akikaze验证场景中，我们的流程实现了20.98 dB的PSNR和0.683的SSIM，相比未正则化的基线提高了+1.50 dB。

🔬 方法详解

问题定义：论文旨在解决多视角场景中烟雾去除和新视角合成的问题。现有方法，特别是先去雾再重建的流程，往往由于逐帧去雾处理导致跨视角不一致性，从而影响最终3D重建和新视角合成的质量，具体表现为渲染结果模糊和结构不稳定。

核心思路：论文的核心思路是采用一个两阶段的Dehaze-then-Splat流程。首先，利用生成式模型进行逐帧去雾，生成伪干净图像；然后，利用3D高斯溅射（3DGS）进行场景重建和新视角合成，并通过物理信息辅助损失来约束3DGS的训练，从而提高多视角一致性。这样设计的目的是为了在去雾的同时，尽可能地保留场景的几何结构信息，并利用物理先验知识来约束重建过程。

技术框架：整体框架包含两个主要阶段：1) 去雾阶段：使用Nano Banana Pro进行逐帧生成式去雾，并进行亮度归一化，生成伪干净的训练图像。2) 3DGS重建阶段：使用3D高斯溅射（3DGS）进行场景重建和新视角合成。该阶段的关键在于引入了物理信息辅助损失，包括：a) 通过与伪深度进行Pearson相关的深度监督；b) 暗通道先验正则化；c) 双源梯度匹配。这些辅助损失旨在补偿逐帧去雾处理中固有的跨视角不一致性。

关键创新：论文的关键创新在于将生成式去雾与3D高斯溅射相结合，并引入了物理信息辅助损失来提高多视角一致性。传统的去雾方法往往只关注单张图像的去雾效果，而忽略了多视角场景中的一致性问题。该论文通过引入深度监督、暗通道先验和梯度匹配等物理先验知识，有效地约束了3DGS的训练过程，从而提高了重建质量和新视角合成效果。

关键设计：论文的关键设计包括：1) 使用Nano Banana Pro进行生成式去雾，该模型具有较强的去雾能力。2) 引入Pearson相关系数作为深度监督的损失函数，以提高深度估计的准确性。3) 使用暗通道先验作为正则化项，以抑制雾霾的影响。4) 采用双源梯度匹配，以提高渲染结果的清晰度。5) 使用基于MCMC的密度增加方法，并结合提前停止策略，以避免过拟合。这些设计共同作用，使得Dehaze-then-Splat能够有效地去除烟雾并合成高质量的新视角图像。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Akikaze验证场景中，Dehaze-then-Splat实现了20.98 dB的PSNR和0.683的SSIM，相比未正则化的基线提高了+1.50 dB。这一结果表明，该方法能够有效地去除烟雾并合成高质量的新视角图像，验证了物理信息辅助损失在提高多视角一致性方面的有效性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、安防监控等领域。在这些场景中，烟雾等恶劣天气条件会严重影响视觉系统的性能。通过该方法，可以有效地去除烟雾，提高视觉系统的鲁棒性和可靠性，从而提升系统的整体性能和安全性。此外，该方法还可用于虚拟现实和增强现实等领域，提供更清晰、更逼真的视觉体验。

📄 摘要（原文）

We present Dehaze-then-Splat, a two-stage pipeline for multi-view smoke removal and novel view synthesis developed for Track~2 of the NTIRE 2026 3D Restoration and Reconstruction Challenge. In the first stage, we produce pseudo-clean training images via per-frame generative dehazing using Nano Banana Pro, followed by brightness normalization. In the second stage, we train 3D Gaussian Splatting (3DGS) with physics-informed auxiliary losses -- depth supervision via Pearson correlation with pseudo-depth, dark channel prior regularization, and dual-source gradient matching -- that compensate for cross-view inconsistencies inherent in frame-wise generative processing. We identify a fundamental tension in dehaze-then-reconstruct pipelines: per-image restoration quality does not guarantee multi-view consistency, and such inconsistency manifests as blurred renders and structural instability in downstream 3D reconstruction.Our analysis shows that MCMC-based densification with early stopping, combined with depth and haze-suppression priors, effectively mitigates these artifacts. On the Akikaze validation scene, our pipeline achieves 20.98\,dB PSNR and 0.683 SSIM for novel view synthesis, a +1.50\,dB improvement over the unregularized baseline.