SeaSplat: Representing Underwater Scenes with 3D Gaussian Splatting and a Physically Grounded Image Formation Model

📄 arXiv: 2409.17345v2 📥 PDF

作者: Daniel Yang, John J. Leonard, Yogesh Girdhar

分类: cs.CV, cs.RO

发布日期: 2024-09-25 (更新: 2025-06-02)

备注: ICRA 2025. Project page here: https://seasplat.github.io

💡 一句话要点

SeaSplat：利用3D高斯溅射和物理成像模型实现水下场景实时渲染

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 水下渲染 3D高斯溅射 物理成像模型 辐射场 颜色恢复

📋 核心要点

  1. 水下场景渲染面临水体对光线传播的影响，导致图像质量下降和颜色失真，现有方法难以兼顾渲染质量和效率。
  2. SeaSplat将3D高斯溅射与物理水下成像模型相结合，利用高斯溅射的快速渲染能力，并用物理模型约束颜色和深度估计。
  3. 实验表明，SeaSplat在真实和模拟水下场景中均能提升渲染质量，恢复真实颜色，并保持了3D高斯溅射的实时渲染性能。

📝 摘要（中文）

本文提出SeaSplat，一种利用3D辐射场最新进展实现水下场景实时渲染的方法。水下场景是具有挑战性的视觉环境，因为通过水等介质进行渲染会对图像捕获产生范围和颜色相关的效应。SeaSplat使用物理上合理的水下图像形成模型约束3D高斯溅射(3DGS)，这是辐射场领域的一项最新进展，能够快速训练和实时渲染完整的3D场景。通过将SeaSplat应用于来自SeaThru-NeRF数据集的真实水下场景（该场景由美国维尔京群岛的水下航行器收集）以及模拟退化的真实场景，我们不仅在渲染场景的新视角时获得了更高的定量性能，而且还能够恢复场景的潜在真实颜色，并恢复没有中间介质存在的渲染效果。我们表明，水下图像形成有助于学习场景结构，获得更好的深度图，并且我们的改进保持了利用3D高斯表示所带来的显著计算优势。

🔬 方法详解

问题定义：水下场景的渲染受到水体散射和吸收的影响，导致图像模糊、颜色失真，传统的渲染方法难以准确建模这些影响，从而影响渲染质量。此外，现有方法通常计算量大，难以实现实时渲染。因此，需要一种既能准确建模水下光线传播，又能实现实时渲染的方法。

核心思路：SeaSplat的核心思路是将3D高斯溅射（3DGS）与物理水下成像模型相结合。3DGS能够实现快速的场景表示和渲染，而物理水下成像模型则能够准确建模水体对光线的影响。通过将物理模型融入到3DGS的训练过程中，可以约束高斯参数的学习，从而提高渲染质量和颜色恢复能力。

技术框架：SeaSplat的整体框架包括以下几个主要步骤：1) 使用水下相机采集水下场景图像；2) 利用SfM等方法估计相机位姿；3) 初始化3D高斯分布；4) 使用物理水下成像模型和渲染方程，将3D高斯投影到图像平面，计算渲染图像；5) 计算渲染图像与真实图像之间的损失，并反向传播更新高斯参数；6) 重复步骤4和5，直到收敛。

关键创新：SeaSplat的关键创新在于将物理水下成像模型集成到3D高斯溅射的训练过程中。具体来说，它使用Beer-Lambert定律来建模水体的吸收和散射效应，并将这些效应融入到渲染方程中。此外，SeaSplat还引入了一种新的损失函数，用于约束高斯参数的学习，从而提高颜色恢复能力。与现有方法相比，SeaSplat能够更准确地建模水下光线传播，从而提高渲染质量和颜色恢复能力。

关键设计：SeaSplat的关键设计包括：1) 使用Beer-Lambert定律建模水体的吸收和散射效应，其中吸收系数和散射系数是可学习的参数；2) 引入颜色恢复损失，鼓励网络学习场景的真实颜色；3) 使用深度损失，约束高斯分布的深度估计，提高场景几何结构的准确性；4) 采用自适应学习率策略，加速训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SeaSplat在SeaThru-NeRF数据集上进行了实验，结果表明，SeaSplat在PSNR、SSIM和LPIPS等指标上均优于现有方法。例如，在颜色恢复方面，SeaSplat能够将水下图像的颜色恢复到接近真实颜色的水平。此外，实验还表明，SeaSplat能够生成更准确的深度图，从而提高场景几何结构的准确性。重要的是，SeaSplat保持了3D高斯溅射的实时渲染性能。

🎯 应用场景

SeaSplat可应用于水下机器人导航、水下考古、海洋生物研究、水下环境监测等领域。通过提高水下图像的渲染质量和颜色恢复能力，SeaSplat能够帮助研究人员更好地理解和分析水下环境，从而促进相关领域的发展。此外，SeaSplat的实时渲染能力使其能够应用于水下虚拟现实和增强现实等领域。

📄 摘要（原文）

We introduce SeaSplat, a method to enable real-time rendering of underwater scenes leveraging recent advances in 3D radiance fields. Underwater scenes are challenging visual environments, as rendering through a medium such as water introduces both range and color dependent effects on image capture. We constrain 3D Gaussian Splatting (3DGS), a recent advance in radiance fields enabling rapid training and real-time rendering of full 3D scenes, with a physically grounded underwater image formation model. Applying SeaSplat to the real-world scenes from SeaThru-NeRF dataset, a scene collected by an underwater vehicle in the US Virgin Islands, and simulation-degraded real-world scenes, not only do we see increased quantitative performance on rendering novel viewpoints from the scene with the medium present, but are also able to recover the underlying true color of the scene and restore renders to be without the presence of the intervening medium. We show that the underwater image formation helps learn scene structure, with better depth maps, as well as show that our improvements maintain the significant computational improvements afforded by leveraging a 3D Gaussian representation.