SonarSplat: Novel View Synthesis of Imaging Sonar via Gaussian Splatting

📄 arXiv: 2504.00159v3 📥 PDF

作者: Advaith V. Sethuraman, Max Rucker, Onur Bagoren, Pou-Chun Kung, Nibarkavi N. B. Amutha, Katherine A. Skinner

分类: cs.CV

发布日期: 2025-03-31 (更新: 2025-11-03)

DOI: 10.1109/LRA.2025.3627089

💡 一句话要点

SonarSplat：基于高斯溅射的水下成像声呐新视角合成方法，有效建模声学条纹现象。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 声呐图像 新视角合成 高斯溅射 水下机器人 声学条纹 三维重建 图像渲染

📋 核心要点

  1. 现有声呐图像新视角合成方法难以准确建模声学条纹现象，导致合成图像质量下降，3D重建精度不足。
  2. SonarSplat采用3D高斯分布表示场景，并引入声学反射率和饱和度属性，有效建模声学条纹，提升合成真实感。
  3. 实验结果表明，SonarSplat在图像合成质量和3D重建精度上均优于现有方法，PSNR提升3.2dB，Chamfer距离降低77%。

📝 摘要（中文）

本文提出了一种新颖的用于成像声呐的高斯溅射框架SonarSplat，它展示了逼真的新视角合成，并对声学条纹现象进行了建模。我们的方法将场景表示为一组具有声学反射率和饱和度属性的3D高斯分布。我们开发了一种新方法，可以有效地栅格化高斯分布，从而生成忠实于成像声呐声学图像形成模型的距离/方位角图像。特别地，我们开发了一种在高斯溅射框架中对方位角条纹进行建模的新方法。我们使用从水下机器人平台在受控测试水箱和真实河流环境中收集的声呐图像的真实世界数据集评估了SonarSplat。与最先进的方法相比，SonarSplat提供了改进的图像合成能力（+3.2 dB PSNR）和更准确的3D重建（降低77%的Chamfer距离）。我们还证明了SonarSplat可用于方位角条纹去除。

🔬 方法详解

问题定义：成像声呐的新视角合成任务，目标是从有限的声呐图像中生成任意视角的声呐图像。现有方法难以准确建模声呐图像中特有的声学条纹现象，导致合成图像质量不高，且重建的3D模型精度有限。

核心思路：利用3D高斯溅射（Gaussian Splatting）技术，将场景表示为一组3D高斯分布，每个高斯分布携带声学反射率和饱和度属性，从而能够显式地建模声学条纹。通过优化这些高斯分布的参数，可以实现高质量的新视角合成。

技术框架：SonarSplat框架主要包含以下几个阶段：1) 初始化：使用SfM（Structure from Motion）或SLAM（Simultaneous Localization and Mapping）等方法估计相机位姿，并初始化一组3D高斯分布。2) 栅格化：将3D高斯分布栅格化到2D声呐图像平面上，生成距离/方位角图像。3) 渲染：根据声呐图像形成模型，计算每个像素的声学强度值。4) 优化：使用光度损失函数和正则化项，优化高斯分布的参数，包括位置、旋转、缩放、声学反射率和饱和度等。

关键创新：主要创新在于将高斯溅射技术应用于声呐图像的新视角合成，并提出了一种显式建模声学条纹的方法。通过引入声学反射率和饱和度属性，可以更好地捕捉声呐图像的特性。此外，该方法还提出了一种高效的栅格化算法，能够快速生成距离/方位角图像。

关键设计：在损失函数方面，使用了光度损失函数来衡量合成图像与真实图像之间的差异。同时，为了防止过拟合，还引入了正则化项，例如L1正则化和TV正则化。在网络结构方面，使用了多层感知机（MLP）来预测高斯分布的参数。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SonarSplat在真实水下声呐数据集上取得了显著的性能提升。与现有方法相比，SonarSplat在图像合成质量上提升了3.2 dB PSNR，在3D重建精度上降低了77%的Chamfer距离。此外，该方法还展示了方位角条纹去除的能力，进一步提升了声呐图像的质量。

🎯 应用场景

SonarSplat可应用于水下机器人导航、水下环境监测、水下目标识别等领域。通过生成高质量的新视角声呐图像，可以提高水下机器人的自主导航能力，帮助科学家更好地了解水下环境，并辅助水下目标的识别和定位。该技术还有潜力应用于水下考古、海洋资源勘探等领域。

📄 摘要（原文）

In this paper, we present SonarSplat, a novel Gaussian splatting framework for imaging sonar that demonstrates realistic novel view synthesis and models acoustic streaking phenomena. Our method represents the scene as a set of 3D Gaussians with acoustic reflectance and saturation properties. We develop a novel method to efficiently rasterize Gaussians to produce a range/azimuth image that is faithful to the acoustic image formation model of imaging sonar. In particular, we develop a novel approach to model azimuth streaking in a Gaussian splatting framework. We evaluate SonarSplat using real-world datasets of sonar images collected from an underwater robotic platform in a controlled test tank and in a real-world river environment. Compared to the state-of-the-art, SonarSplat offers improved image synthesis capabilities (+3.2 dB PSNR) and more accurate 3D reconstruction (77% lower Chamfer Distance). We also demonstrate that SonarSplat can be leveraged for azimuth streak removal.