WeatherGS: 3D Scene Reconstruction in Adverse Weather Conditions via Gaussian Splatting

📄 arXiv: 2412.18862v3 📥 PDF

作者: Chenghao Qian, Yuhu Guo, Wenjing Li, Gustav Markkula

分类: cs.CV, cs.AI

发布日期: 2024-12-25 (更新: 2025-02-12)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

WeatherGS：基于高斯溅射的恶劣天气三维场景重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 高斯溅射 恶劣天气 图像处理 场景理解

📋 核心要点

  1. 现有3D高斯溅射方法在恶劣天气下重建场景时，会将天气造成的伪影直接重建，导致场景清晰度下降。
  2. WeatherGS通过显式区分密集粒子（如雨雪）和镜头遮挡，并分别处理，从而重建清晰场景。
  3. 实验表明，WeatherGS在各种天气条件下都能生成高质量、清晰的场景，优于现有方法，并在新基准上进行了验证。

📝 摘要（中文）

三维高斯溅射(3DGS)在三维场景重建中备受关注，但仍受复杂户外环境的影响，尤其是在恶劣天气下。这是因为3DGS将恶劣天气造成的伪影视为场景的一部分并直接重建，大大降低了重建场景的清晰度。为了解决这个挑战，我们提出了WeatherGS，一个基于3DGS的框架，用于从不同天气条件下的多视角图像中重建清晰的场景。具体来说，我们显式地将多天气伪影分为具有非常不同特征的密集粒子和镜头遮挡，前者是由空气中的雪花和雨滴引起的，后者是由相机镜头上的降水引起的。鉴于此，我们提出了一种由密到疏的预处理策略，该策略通过大气效应滤波器(AEF)依次去除密集粒子，然后通过镜头效应检测器(LED)提取相对稀疏的遮挡掩模。最后，我们通过处理后的图像和生成的掩模训练一组3D高斯函数，以排除遮挡区域，并通过高斯溅射准确地恢复潜在的清晰场景。我们构建了一个多样且具有挑战性的基准，以促进复杂天气场景下三维重建的评估。在这个基准上的大量实验表明，我们的WeatherGS始终在各种天气场景中产生高质量、清晰的场景，优于现有的最先进方法。

🔬 方法详解

问题定义：论文旨在解决恶劣天气条件下三维场景重建的问题。现有方法，如直接应用3D高斯溅射，会将雨雪等天气因素引入重建结果，导致场景模糊，影响重建质量。因此，如何在恶劣天气下准确重建清晰的三维场景是本研究要解决的核心问题。

核心思路：论文的核心思路是将恶劣天气的影响分解为两种主要类型：密集粒子（如雨雪）和镜头遮挡。针对这两种不同类型的干扰，分别设计相应的处理方法，先去除密集粒子，再处理镜头遮挡，从而在预处理阶段尽可能消除天气因素的影响，为后续的3D高斯溅射提供更干净的输入。

技术框架：WeatherGS框架主要包含以下几个阶段：1) 大气效应滤波 (AEF)：用于去除图像中的密集粒子，如雨雪；2) 镜头效应检测 (LED)：用于检测并生成镜头上的遮挡掩模；3) 3D高斯溅射训练：使用经过预处理的图像和遮挡掩模训练3D高斯模型，排除遮挡区域的影响；4) 场景重建：利用训练好的3D高斯模型进行场景重建。

关键创新：该论文的关键创新在于：1) 显式地将恶劣天气的影响分解为密集粒子和镜头遮挡，并针对性地设计处理方法。2) 提出了由密到疏的预处理策略，先去除密集粒子，再处理镜头遮挡，更有效地消除天气因素的影响。3) 构建了一个新的恶劣天气三维重建基准，为该领域的研究提供了数据支持。

关键设计：关于AEF和LED的具体实现细节论文中可能有所描述，但摘要中未详细说明。损失函数的设计可能包括重建损失和正则化项，以保证重建质量和场景的平滑性。具体的网络结构和参数设置需要参考论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WeatherGS在各种恶劣天气条件下都能生成高质量、清晰的场景，显著优于现有方法。具体性能数据和对比基线需要在论文中查找。该论文构建了一个新的恶劣天气三维重建基准，为该领域的研究提供了有价值的评估平台。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。在恶劣天气下，这些应用场景对环境感知能力有更高的要求。WeatherGS能够有效提升恶劣天气下的三维场景重建质量，从而提高相关系统的鲁棒性和可靠性，例如提升自动驾驶在雨雪天气下的安全性。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has gained significant attention for 3D scene reconstruction, but still suffers from complex outdoor environments, especially under adverse weather. This is because 3DGS treats the artifacts caused by adverse weather as part of the scene and will directly reconstruct them, largely reducing the clarity of the reconstructed scene. To address this challenge, we propose WeatherGS, a 3DGS-based framework for reconstructing clear scenes from multi-view images under different weather conditions. Specifically, we explicitly categorize the multi-weather artifacts into the dense particles and lens occlusions that have very different characters, in which the former are caused by snowflakes and raindrops in the air, and the latter are raised by the precipitation on the camera lens. In light of this, we propose a dense-to-sparse preprocess strategy, which sequentially removes the dense particles by an Atmospheric Effect Filter (AEF) and then extracts the relatively sparse occlusion masks with a Lens Effect Detector (LED). Finally, we train a set of 3D Gaussians by the processed images and generated masks for excluding occluded areas, and accurately recover the underlying clear scene by Gaussian splatting. We conduct a diverse and challenging benchmark to facilitate the evaluation of 3D reconstruction under complex weather scenarios. Extensive experiments on this benchmark demonstrate that our WeatherGS consistently produces high-quality, clean scenes across various weather scenarios, outperforming existing state-of-the-art methods. See project page:https://jumponthemoon.github.io/weather-gs.