SmokeSeer: 3D Gaussian Splatting for Smoke Removal and Scene Reconstruction

📄 arXiv: 2509.17329v3 📥 PDF

作者: Neham Jain, Andrew Jong, Sebastian Scherer, Ioannis Gkioulekas

分类: cs.CV

发布日期: 2025-09-22 (更新: 2025-12-23)

备注: Project website: https://imaging.cs.cmu.edu/smokeseer

💡 一句话要点

SmokeSeer：利用3D高斯溅射进行烟雾去除和场景重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 烟雾去除 场景重建 3D高斯溅射 多模态融合 热图像 计算机视觉 图像恢复 视频处理

📋 核心要点

  1. 现有图像恢复方法在处理真实场景中的复杂烟雾时，容易产生幻觉或仅限于低密度静态烟雾。
  2. SmokeSeer利用RGB和热图像，通过3D高斯溅射融合多模态信息，将场景分解为烟雾和非烟雾成分。
  3. 该方法在合成数据和真实烟雾数据集上验证，能够处理不同密度的动态烟雾，并提供开源实现和数据。

📝 摘要（中文）

真实场景中的烟雾会严重降低图像质量和能见度。现有的图像恢复方法要么依赖于易产生幻觉的数据驱动先验，要么仅限于静态低密度烟雾。我们提出了SmokeSeer，一种从多视角视频序列中同时进行3D场景重建和烟雾去除的方法。我们的方法利用热图像和RGB图像，利用热图像中较低的散射来穿透烟雾。我们基于3D高斯溅射融合来自两种图像模态的信息，并将场景分解为烟雾和非烟雾成分。与之前的工作不同，SmokeSeer可以处理各种烟雾密度，并适应随时间变化的烟雾。我们在合成数据和一个新的包含RGB和热图像的真实烟雾数据集上验证了我们的方法。我们在项目网站上提供开源实现和数据。

🔬 方法详解

问题定义：论文旨在解决真实场景中烟雾对图像质量和能见度的严重影响问题。现有方法主要存在两个痛点：一是依赖数据驱动的先验，容易产生幻觉；二是仅适用于静态、低密度的烟雾，无法处理动态、高密度的复杂烟雾场景。

核心思路：论文的核心思路是利用RGB图像和热图像的多模态信息，结合3D高斯溅射技术，将场景分解为烟雾和非烟雾成分。热图像的散射较小，可以穿透烟雾，提供更清晰的场景结构信息，与RGB图像互补，从而实现更准确的烟雾去除和场景重建。

技术框架：SmokeSeer的整体框架基于3D高斯溅射，主要包含以下几个阶段：1) 多视角RGB和热图像的采集；2) 利用3D高斯溅射对场景进行初步重建；3) 融合RGB和热图像信息，区分烟雾和非烟雾成分；4) 优化高斯参数，实现烟雾去除和场景重建。

关键创新：该方法最重要的创新点在于多模态信息融合和场景分解。通过结合RGB和热图像，利用热图像穿透烟雾的特性，有效克服了传统方法在处理复杂烟雾场景时的局限性。同时，将场景分解为烟雾和非烟雾成分，使得可以针对性地处理烟雾，提高重建精度。

关键设计：论文的关键设计包括：1) 使用3D高斯溅射作为场景表示，可以高效地进行渲染和优化；2) 设计了特定的损失函数，用于约束烟雾和非烟雾成分的分解，并保证重建质量；3) 针对RGB和热图像的特性，设计了不同的权重和处理方式，以更好地融合多模态信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SmokeSeer在合成数据和真实烟雾数据集上进行了验证，结果表明该方法能够有效地去除烟雾并重建场景。与现有方法相比，SmokeSeer在处理高密度、动态烟雾方面表现出更强的鲁棒性。论文提供了开源代码和数据集，方便其他研究者进行复现和改进。

🎯 应用场景

SmokeSeer在智能监控、自动驾驶、消防救援等领域具有广泛的应用前景。在智能监控中，可以提高烟雾环境下的监控效果；在自动驾驶中，可以增强车辆在烟雾环境下的感知能力；在消防救援中，可以帮助消防员在浓烟中看清火情和被困人员，提高救援效率。该研究有望推动相关领域的发展，提升安全性。

📄 摘要（原文）

Smoke in real-world scenes can severely degrade image quality and hamper visibility. Recent image restoration methods either rely on data-driven priors that are susceptible to hallucinations, or are limited to static low-density smoke. We introduce SmokeSeer, a method for simultaneous 3D scene reconstruction and smoke removal from multi-view video sequences. Our method uses thermal and RGB images, leveraging the reduced scattering in thermal images to see through smoke. We build upon 3D Gaussian splatting to fuse information from the two image modalities, and decompose the scene into smoke and non-smoke components. Unlike prior work, SmokeSeer handles a broad range of smoke densities and adapts to temporally varying smoke. We validate our method on synthetic data and a new real-world smoke dataset with RGB and thermal images. We provide an open-source implementation and data on the project website.