Gaussian Splashing: Direct Volumetric Rendering Underwater

📄 arXiv: 2411.19588v2 📥 PDF

作者: Nir Mualem, Roy Amoyal, Oren Freifeld, Derya Akkaynak

分类: cs.CV

发布日期: 2024-11-29 (更新: 2025-11-02)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

Gaussian Splashing：水下场景的快速体积渲染方法，提升渲染速度和细节清晰度。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 水下图像处理 三维重建 神经辐射场 高斯溅射 体积渲染 水下机器人 图像散射

📋 核心要点

  1. 水下图像受水体散射影响严重，导致传统3D重建方法（如NeRFs和3DGS）效果不佳，重建速度慢，渲染质量差。
  2. Gaussian Splashing结合了3DGS的速度优势和水下图像散射模型，通过创新渲染、深度估计和损失函数设计，提升重建和渲染质量。
  3. 实验表明，Gaussian Splashing在水下场景重建速度上远超现有方法，渲染帧率达到140FPS，并能更清晰地呈现远距离细节。

📝 摘要（中文）

水下图像中的有用特征通常被水体遮挡，遮挡程度取决于成像几何，甚至在连拍图像序列中也会变化。这导致在空气中表现良好的3D重建方法，如神经辐射场（NeRFs）或3D高斯溅射（3DGS），在水下场景中失效。虽然最近NeRFs的水下改进方法取得了最先进的结果，但其速度慢得不切实际：重建需要数小时，渲染帧率（FPS）低于1。本文提出了一种新方法，仅需几分钟即可完成重建，并以140 FPS渲染新的水下场景。该方法名为Gaussian Splashing，它统一了3DGS的优势和速度，以及用于捕获散射的图像形成模型，并在渲染和深度估计过程以及3DGS损失函数中引入了创新。尽管水下适应的复杂性，该方法以无与伦比的速度生成具有卓越细节的图像。此外，它比其他方法更清晰地揭示了远处的场景细节，从而显著改善了重建和渲染的图像。在现有数据集和新收集的数据集上展示了结果。

🔬 方法详解

问题定义：水下图像由于光线在水中的散射和吸收，导致图像质量下降，传统3D重建方法难以有效提取特征并进行准确的场景重建。现有方法，如水下NeRF，虽然能取得较好的重建效果，但计算复杂度高，重建和渲染速度慢，难以满足实时应用需求。

核心思路：Gaussian Splashing的核心思路是将3D高斯溅射（3DGS）的速度优势与水下图像的散射模型相结合。通过对3DGS进行改进，使其能够更好地适应水下环境的光线传播特性，从而实现快速且高质量的水下场景重建和渲染。

技术框架：Gaussian Splashing的整体框架基于3DGS，主要包含以下几个阶段：1) 初始化3D高斯分布；2) 基于水下图像形成模型进行渲染；3) 计算损失函数，优化高斯参数；4) 迭代优化，直至收敛。其中，关键模块包括水下渲染模块、深度估计模块和损失函数设计。

关键创新：该方法最重要的创新点在于将3DGS与水下图像形成模型相结合，并针对水下环境的特殊性，对渲染过程、深度估计和损失函数进行了改进。这使得该方法能够有效地处理水下图像的散射和吸收问题，从而实现更准确、更快速的场景重建。

关键设计：在渲染过程中，考虑了水体的散射和吸收效应，使用了改进的渲染方程。在深度估计方面，采用了新的深度估计方法，以提高深度估计的准确性。在损失函数设计方面，针对水下场景的特点，设计了新的损失函数，以提高重建质量。此外，还对高斯参数的更新策略进行了优化，以加快收敛速度。

📊 实验亮点

Gaussian Splashing在水下场景重建速度上取得了显著提升，渲染帧率达到140FPS，远超现有方法。与现有水下NeRF方法相比，重建时间从数小时缩短到几分钟。此外，该方法能够更清晰地呈现远距离细节，显著改善了重建和渲染图像的质量。在现有数据集和新收集的数据集上都取得了优异的结果。

🎯 应用场景

Gaussian Splashing在水下机器人导航、水下考古、海洋生物研究、水下环境监测等领域具有广泛的应用前景。该方法可以帮助水下机器人更清晰地感知周围环境，提高导航的准确性和安全性。同时，也可以用于重建水下遗址，研究海洋生物的栖息地，监测水质变化等。

📄 摘要（原文）

In underwater images, most useful features are occluded by water. The extent of the occlusion depends on imaging geometry and can vary even across a sequence of burst images. As a result, 3D reconstruction methods robust on in-air scenes, like Neural Radiance Field methods (NeRFs) or 3D Gaussian Splatting (3DGS), fail on underwater scenes. While a recent underwater adaptation of NeRFs achieved state-of-the-art results, it is impractically slow: reconstruction takes hours and its rendering rate, in frames per second (FPS), is less than 1. Here, we present a new method that takes only a few minutes for reconstruction and renders novel underwater scenes at 140 FPS. Named Gaussian Splashing, our method unifies the strengths and speed of 3DGS with an image formation model for capturing scattering, introducing innovations in the rendering and depth estimation procedures and in the 3DGS loss function. Despite the complexities of underwater adaptation, our method produces images at unparalleled speeds with superior details. Moreover, it reveals distant scene details with far greater clarity than other methods, dramatically improving reconstructed and rendered images. We demonstrate results on existing datasets and a new dataset we have collected. Additional visual results are available at: https://bgu-cs-vil.github.io/gaussiansplashingUW.github.io/ .