SmokeGS-R: Physics-Guided Pseudo-Clean 3DGS for Real-World Multi-View Smoke Restoration

📄 arXiv: 2604.05301v1 📥 PDF

作者: Xueming Fu, Lixia Han

分类: cs.CV

发布日期: 2026-04-07

备注: Lab Report for NTIRE 2026 3DRR Track 2

🔗 代码/项目: GITHUB

💡 一句话要点

SmokeGS-R：基于物理先验的伪干净3D高斯模型用于真实场景多视角烟雾去除

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 烟雾去除 高斯溅射 物理先验 多视角 图像恢复 几何恢复 外观校正

📋 核心要点

  1. 现有方法难以在烟雾影响下进行鲁棒的3D重建，因为烟雾会衰减场景光线并引入大气光，导致多视角图像不一致。
  2. SmokeGS-R的核心思想是将几何重建与外观校正分离，先重建清晰的几何结构，再进行外观的协调与优化。
  3. 实验结果表明，SmokeGS-R在NTIRE 2026挑战赛中取得了优异的成绩，并在RealX3D数据集上超越了现有最佳方法。

📝 摘要（中文）

真实场景中的烟雾会衰减场景辐射，增加大气光，并破坏多视角外观一致性，使得稳健的3D重建变得异常困难。本文提出了SmokeGS-R，一个为NTIRE 2026 3D修复与重建Track 2挑战赛开发的实用流程。其核心思想是将几何恢复与外观校正解耦：我们利用改进的暗通道先验和引导滤波生成基于物理先验的伪干净监督信息，训练一个清晰的仅包含干净场景的3D高斯溅射源模型，然后使用几何平均参考聚合、LAB空间Reinhard传递和光高斯平滑，将其渲染结果与捐赠者集合进行协调。在官方挑战赛测试排行榜上，最终提交结果达到了PSNR = 15.217和SSIM = 0.666。在RealX3D公开后，我们在未重新训练的情况下，对七个已发布的挑战赛场景重新评估了相同的冻结结果，获得了PSNR = 15.209，SSIM = 0.644和LPIPS = 0.551，在相同的场景上，比最强的官方基线平均水平高出+3.68 dB PSNR。这些结果表明，几何优先的重建策略与稳定的渲染后外观协调是真实场景多视角烟雾去除的有效方法。

🔬 方法详解

问题定义：论文旨在解决真实场景中多视角烟雾环境下的3D重建问题。现有方法在烟雾影响下难以准确恢复场景的几何结构和纹理信息，因为烟雾会引入噪声、降低对比度，并导致不同视角下的图像不一致。

核心思路：论文的核心思路是将3D重建过程解耦为几何恢复和外观校正两个阶段。首先，利用物理先验知识生成伪干净的监督信息，用于训练一个清晰的3D高斯模型，从而实现对场景几何结构的准确重建。然后，通过外观协调方法，将重建结果与原始烟雾图像进行融合，从而恢复场景的真实外观。

技术框架：SmokeGS-R的整体框架包含以下三个主要阶段：1) 伪干净监督生成：利用改进的暗通道先验和引导滤波，从烟雾图像中估计出干净场景的图像，作为3D重建的监督信息。2) 3D高斯模型训练：使用生成的伪干净图像训练一个3D高斯溅射模型，用于重建场景的几何结构。3) 外观协调：通过几何平均参考聚合、LAB空间Reinhard传递和光高斯平滑等技术，将3D高斯模型的渲染结果与原始烟雾图像进行融合，从而恢复场景的真实外观。

关键创新：该方法最重要的创新点在于将3D重建过程解耦为几何恢复和外观校正两个阶段，并利用物理先验知识生成伪干净的监督信息。这种解耦策略可以有效地降低烟雾对3D重建的影响，提高重建的准确性和鲁棒性。与现有方法相比，SmokeGS-R不需要直接处理烟雾图像，而是通过生成伪干净图像来间接学习场景的几何结构，从而避免了烟雾带来的噪声和干扰。

关键设计：在伪干净监督生成阶段，论文采用了改进的暗通道先验和引导滤波，以更准确地估计出干净场景的图像。在外观协调阶段，论文采用了几何平均参考聚合、LAB空间Reinhard传递和光高斯平滑等技术，以实现更好的外观融合效果。此外，论文还对3D高斯模型的训练过程进行了优化，以提高重建的效率和质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SmokeGS-R在NTIRE 2026 3D修复与重建Track 2挑战赛中取得了显著成果，PSNR达到15.217，SSIM达到0.666。在RealX3D数据集上，SmokeGS-R在未重新训练的情况下，PSNR达到15.209，SSIM达到0.644，LPIPS达到0.551，比最强的官方基线平均水平高出+3.68 dB PSNR，证明了该方法在真实场景多视角烟雾去除方面的有效性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、虚拟现实等领域。在这些领域中，烟雾等恶劣天气条件会严重影响视觉系统的性能。SmokeGS-R可以有效地去除烟雾的影响，提高视觉系统的鲁棒性和可靠性，从而提升相关应用的安全性和效率。此外，该方法还可以应用于文物修复、电影特效等领域，具有广泛的应用前景。

📄 摘要（原文）

Real-world smoke simultaneously attenuates scene radiance, adds airlight, and destabilizes multi-view appearance consistency, making robust 3D reconstruction particularly difficult. We present \textbf{SmokeGS-R}, a practical pipeline developed for the NTIRE 2026 3D Restoration and Reconstruction Track 2 challenge. The key idea is to decouple geometry recovery from appearance correction: we generate physics-guided pseudo-clean supervision with a refined dark channel prior and guided filtering, train a sharp clean-only 3D Gaussian Splatting source model, and then harmonize its renderings with a donor ensemble using geometric-mean reference aggregation, LAB-space Reinhard transfer, and light Gaussian smoothing. On the official challenge testing leaderboard, the final submission achieved \mbox{PSNR $=15.217$} and \mbox{SSIM $=0.666$}. After the public release of RealX3D, we re-evaluated the same frozen result on the seven released challenge scenes without retraining and obtained \mbox{PSNR $=15.209$}, \mbox{SSIM $=0.644$}, and \mbox{LPIPS $=0.551$}, outperforming the strongest official baseline average on the same scenes by $+3.68$ dB PSNR. These results suggest that a geometry-first reconstruction strategy combined with stable post-render appearance harmonization is an effective recipe for real-world multi-view smoke restoration. The code is available at https://github.com/windrise/3drr_Track2_SmokeGS-R.