DeRainGS: Gaussian Splatting for Enhanced Scene Reconstruction in Rainy Environments

📄 arXiv: 2408.11540v4 📥 PDF

作者: Shuhong Liu, Xiang Chen, Hongming Chen, Quanfeng Xu, Mingrui Li

分类: cs.CV

发布日期: 2024-08-21 (更新: 2024-09-30)

💡 一句话要点

提出DeRainGS，用于雨天环境下增强场景重建的高斯溅射方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 高斯溅射 雨天环境 恶劣天气 场景重建

📋 核心要点

  1. 雨天环境下的三维重建面临能见度降低和视觉失真等挑战，严重影响了几何地图的质量。
  2. DeRainGS通过定制的3D高斯溅射方法，专门解决雨天环境下的三维重建问题。
  3. 实验结果表明，DeRainGS在各种雨天场景中均表现出优异的性能，超越了现有方法。

📝 摘要（中文）

在恶劣的雨天条件下进行重建面临着巨大的挑战，因为能见度降低和视觉感知失真。这些情况会严重影响几何地图的质量，而几何地图对于从自主规划到环境监测等应用至关重要。为了应对这些挑战，本研究引入了雨天环境下的三维重建（3DRRE）这一新任务，专门用于解决在雨天条件下重建三维场景的复杂性。为了评估此任务，我们构建了HydroViews数据集，该数据集包含各种合成和真实场景图像，这些图像具有不同强度的雨条纹和雨滴。此外，我们提出了DeRainGS，这是第一个专为在恶劣雨天环境中进行重建而量身定制的3DGS方法。在各种雨天场景中进行的大量实验表明，我们的方法提供了最先进的性能，显著优于现有的无遮挡方法。

🔬 方法详解

问题定义：论文旨在解决雨天环境下三维场景重建的问题。现有方法在雨天环境下，由于雨水造成的遮挡、散射和噪声，导致重建质量显著下降，无法满足自动驾驶、环境监测等应用的需求。现有方法没有专门针对雨天环境进行优化，因此在恶劣天气下表现不佳。

核心思路：DeRainGS的核心思路是利用3D高斯溅射（3DGS）技术，并针对雨天环境进行改进。3DGS具有高效渲染和可微优化的优点，能够更好地处理雨水带来的噪声和遮挡。通过优化高斯分布的参数，可以更准确地表示场景的几何和外观信息，从而提高重建质量。

技术框架：DeRainGS的整体框架基于3DGS，主要包括以下几个阶段：1）图像采集：使用相机在雨天环境下采集多视角的图像。2）初始化：使用SfM或SLAM等方法初始化场景的3D结构。3）高斯溅射优化：使用采集的图像和初始化的3D结构，优化高斯分布的参数，包括位置、协方差、颜色和透明度等。4）渲染：使用优化后的高斯分布，渲染出高质量的3D场景。

关键创新：DeRainGS的关键创新在于针对雨天环境对3DGS进行了改进。具体来说，DeRainGS引入了一种新的损失函数，该损失函数能够更好地处理雨水造成的噪声和遮挡。此外，DeRainGS还采用了一种自适应的高斯分布初始化方法，该方法能够更好地适应雨天环境下的场景结构。与现有方法相比，DeRainGS能够更准确地重建雨天环境下的三维场景。

关键设计：DeRainGS的关键设计包括：1）雨水感知损失函数：该损失函数通过引入雨水概率图，降低雨水区域的权重，从而减少雨水对重建的影响。2）自适应高斯分布初始化：该方法根据场景的深度信息，自适应地调整高斯分布的尺度，从而更好地适应场景结构。3）高斯分布参数优化：使用Adam优化器优化高斯分布的参数，包括位置、协方差、颜色和透明度等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeRainGS在HydroViews数据集上进行了广泛的实验，结果表明DeRainGS在各种雨天场景中均表现出优异的性能，显著优于现有的无遮挡方法。具体来说，DeRainGS在PSNR、SSIM和LPIPS等指标上均取得了显著的提升，证明了DeRainGS在雨天环境下三维重建方面的有效性。

🎯 应用场景

DeRainGS在自动驾驶、环境监测、机器人导航等领域具有广泛的应用前景。在自动驾驶领域，DeRainGS可以提高车辆在雨天环境下的感知能力，从而提高驾驶安全性。在环境监测领域，DeRainGS可以用于重建雨天环境下的三维场景，从而更好地了解环境变化。在机器人导航领域，DeRainGS可以帮助机器人在雨天环境下进行导航，从而提高机器人的自主性。

📄 摘要（原文）

Reconstruction under adverse rainy conditions poses significant challenges due to reduced visibility and the distortion of visual perception. These conditions can severely impair the quality of geometric maps, which is essential for applications ranging from autonomous planning to environmental monitoring. In response to these challenges, this study introduces the novel task of 3D Reconstruction in Rainy Environments (3DRRE), specifically designed to address the complexities of reconstructing 3D scenes under rainy conditions. To benchmark this task, we construct the HydroViews dataset that comprises a diverse collection of both synthesized and real-world scene images characterized by various intensities of rain streaks and raindrops. Furthermore, we propose DeRainGS, the first 3DGS method tailored for reconstruction in adverse rainy environments. Extensive experiments across a wide range of rain scenarios demonstrate that our method delivers state-of-the-art performance, remarkably outperforming existing occlusion-free methods.