RaindropGS: A Benchmark for 3D Gaussian Splatting under Raindrop Conditions
作者: Zhiqiang Teng, Tingting Chen, Beibei Lin, Zifeng Yuan, Xuanyi Li, Xuanyu Zhang, Shunli Zhang
分类: cs.CV
发布日期: 2025-10-20 (更新: 2025-12-27)
💡 一句话要点
RaindropGS：雨滴条件下3D高斯溅射重建的综合评测基准
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 雨滴 重建 基准 相机姿态估计
📋 核心要点
- 现有3DGS方法在雨滴干扰下重建质量显著下降，主要原因是雨滴遮挡和光学畸变，以及合成数据与真实数据的领域差异。
- RaindropGS基准通过提供真实雨滴场景数据，并包含相机姿态估计、点云初始化等环节的评估，更全面地评估3DGS流程。
- 实验结果表明，相机焦点位置、姿态估计和点云初始化精度对3DGS重建性能有显著影响，为未来研究提供了明确方向。
📝 摘要（中文）
本文提出了RaindropGS，一个用于评估雨滴条件下3D高斯溅射（3DGS）性能的综合基准。雨滴会严重遮挡相机镜头并造成光学畸变，显著降低重建质量。现有基准通常使用已知相机姿态的合成雨滴图像（约束图像）评估3DGS，这过于理想化。真实场景中，雨滴会干扰相机姿态估计和点云初始化。合成雨滴和真实雨滴之间存在显著的领域差距，进一步损害了泛化能力。RaindropGS旨在评估完整的3DGS流程，从无约束的、受雨滴污染的图像到清晰的3DGS重建。该基准包括数据准备、数据处理和雨滴感知的3DGS评估，涵盖雨滴干扰类型、相机姿态估计和点云初始化、单图像去雨比较和3D高斯训练比较。本文收集了一个真实世界的雨滴重建数据集，每个场景包含三个对齐的图像集：雨滴聚焦、背景聚焦和无雨真值，从而能够全面评估不同聚焦条件下的重建质量。实验分析揭示了现有3DGS方法在无约束雨滴图像上的性能局限性，以及不同流程组件的影响：相机焦点位置对3DGS重建性能的影响，以及不准确的姿态和点云初始化造成的干扰。这些发现为开发更鲁棒的雨滴条件下的3DGS方法指明了方向。
🔬 方法详解
问题定义：现有3D高斯溅射方法在雨滴环境下重建效果差，主要原因是雨滴遮挡、光学畸变以及合成数据与真实数据的domain gap。现有的benchmark通常基于理想化的合成数据，忽略了真实场景中雨滴对相机姿态估计和点云初始化的影响。
核心思路：RaindropGS的核心思路是构建一个更贴近真实场景的benchmark，包含真实雨滴数据，并评估整个3DGS流程，包括相机姿态估计、点云初始化、单图去雨和3D高斯训练等环节。通过全面评估，分析各个环节对最终重建效果的影响。
技术框架：RaindropGS基准的整体流程包括三个主要部分：数据准备、数据处理和雨滴感知的3DGS评估。数据准备阶段收集真实雨滴场景数据，每个场景包含雨滴聚焦、背景聚焦和无雨真值三个对齐的图像集。数据处理阶段包括相机姿态估计和点云初始化。雨滴感知的3DGS评估阶段则包含雨滴干扰类型分析、相机姿态估计和点云初始化评估、单图像去雨比较和3D高斯训练比较。
关键创新：RaindropGS的关键创新在于其真实性和全面性。它使用真实雨滴数据，避免了合成数据与真实数据之间的domain gap。同时，它评估了整个3DGS流程，而不仅仅是3D高斯训练本身，从而更全面地反映了雨滴对重建效果的影响。
关键设计：RaindropGS的关键设计在于其数据集的构建方式。每个场景包含三个对齐的图像集，允许研究人员评估不同聚焦条件下的重建质量。此外，该基准还提供了多种评估指标，用于评估相机姿态估计、点云初始化和3D高斯训练的性能。
🖼️ 关键图片
📊 实验亮点
RaindropGS基准的实验结果表明，相机焦点位置对3DGS重建性能有显著影响，不准确的姿态估计和点云初始化也会严重干扰重建效果。通过对比不同方法在RaindropGS上的性能，可以发现现有方法在雨滴环境下的局限性，并为未来的研究提供明确的方向。
🎯 应用场景
RaindropGS基准的潜在应用领域包括自动驾驶、机器人导航、增强现实等。在这些领域，视觉系统需要在各种天气条件下可靠地工作。通过使用RaindropGS基准评估和改进3DGS方法，可以提高视觉系统在雨滴环境下的鲁棒性和准确性，从而提升相关应用的性能和安全性。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) under raindrop conditions suffers from severe occlusions and optical distortions caused by raindrop contamination on the camera lens, substantially degrading reconstruction quality. Existing benchmarks typically evaluate 3DGS using synthetic raindrop images with known camera poses (constrained images), assuming ideal conditions. However, in real-world scenarios, raindrops often interfere with accurate camera pose estimation and point cloud initialization. Moreover, a significant domain gap between synthetic and real raindrops further impairs generalization. To tackle these issues, we introduce RaindropGS, a comprehensive benchmark designed to evaluate the full 3DGS pipeline-from unconstrained, raindrop-corrupted images to clear 3DGS reconstructions. Specifically, the whole benchmark pipeline consists of three parts: data preparation, data processing, and raindrop-aware 3DGS evaluation, including types of raindrop interference, camera pose estimation and point cloud initialization, single image rain removal comparison, and 3D Gaussian training comparison. First, we collect a real-world raindrop reconstruction dataset, in which each scene contains three aligned image sets: raindrop-focused, background-focused, and rain-free ground truth, enabling a comprehensive evaluation of reconstruction quality under different focus conditions. Through comprehensive experiments and analyses, we reveal critical insights into the performance limitations of existing 3DGS methods on unconstrained raindrop images and the varying impact of different pipeline components: the impact of camera focus position on 3DGS reconstruction performance, and the interference caused by inaccurate pose and point cloud initialization on reconstruction. These insights establish clear directions for developing more robust 3DGS methods under raindrop conditions.