RUSplatting: Robust 3D Gaussian Splatting for Sparse-View Underwater Scene Reconstruction

📄 arXiv: 2505.15737v2 📥 PDF

作者: Zhuodong Jiang, Haoran Wang, Guoxi Huang, Brett Seymour, Nantheera Anantrasirichai

分类: cs.CV

发布日期: 2025-05-21 (更新: 2025-08-30)

备注: Accepted by BMVC 2025

🔗 代码/项目: GITHUB

💡 一句话要点

RUSplatting：用于稀疏视角水下场景重建的鲁棒3D高斯溅射方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 水下场景重建 3D高斯溅射 RGB通道解耦 帧插值 自适应加权 损失函数 深海环境

📋 核心要点

  1. 水下场景重建面临光吸收、散射和低能见度的挑战，传统方法难以保证重建质量。
  2. 该论文提出了一种基于高斯溅射的框架，通过解耦RGB通道学习、自适应加权帧插值和新型损失函数来提升重建效果。
  3. 实验结果表明，该方法在PSNR指标上优于现有技术，并提供了新采集的深海数据集Submerged3D。

📝 摘要（中文）

由于水生环境中固有的光吸收、散射和有限的可见度，重建高保真水下场景仍然是一项具有挑战性的任务。本文提出了一种增强的基于高斯溅射的框架，该框架提高了深水下渲染的视觉质量和几何精度。我们提出了RGB通道的解耦学习，并由水下衰减的物理特性指导，以实现更准确的颜色恢复。为了解决稀疏视角限制并提高视角一致性，我们引入了一种具有新型自适应加权方案的帧插值策略。此外，我们还引入了一种新的损失函数，旨在减少噪声，同时保留边缘，这对于深海内容至关重要。我们还发布了一个新收集的数据集Submerged3D，专门在深海环境中捕获。实验结果表明，我们的框架始终优于最先进的方法，PSNR增益高达1.90dB，提供卓越的感知质量和鲁棒性，并为海洋机器人和水下视觉分析提供有希望的方向。RUSplatting的代码可在https://github.com/theflash987/RUSplatting获得，数据集Submerged3D可在https://zenodo.org/records/15482420下载。

🔬 方法详解

问题定义：论文旨在解决水下场景三维重建中，由于光线吸收、散射以及视角稀疏性导致的重建质量下降问题。现有方法在水下环境下的颜色恢复和几何精度方面存在不足，尤其是在深海等极端环境下表现更差。

核心思路：论文的核心思路是利用高斯溅射技术，并结合水下光线传播的物理特性，对RGB通道进行解耦学习，从而更准确地恢复颜色。同时，通过自适应加权的帧插值策略，缓解视角稀疏带来的问题，并设计新的损失函数来减少噪声，保持边缘清晰。

技术框架：整体框架基于3D高斯溅射，主要包含以下几个模块：1) RGB通道解耦学习模块，利用水下光线衰减模型指导颜色恢复；2) 自适应加权帧插值模块，用于增强视角一致性；3) 新型损失函数，用于减少噪声并保持边缘清晰。整个流程首先对输入图像进行预处理，然后利用上述模块优化高斯参数，最后进行渲染得到重建结果。

关键创新：论文的关键创新在于以下几个方面：1) 提出了RGB通道解耦学习方法，更符合水下光线传播的物理规律；2) 设计了自适应加权帧插值策略，有效缓解了视角稀疏带来的问题；3) 提出了新的损失函数，能够在减少噪声的同时保持边缘清晰，提升了重建质量。

关键设计：在RGB通道解耦学习中，使用了基于水下光线衰减模型的权重。自适应加权帧插值策略中，权重是根据相邻帧的相似度动态调整的。新的损失函数结合了L1损失和边缘保持项，具体形式未知（论文未提供详细公式）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Submerged3D数据集上取得了显著的性能提升，PSNR指标最高提升了1.90dB，证明了该方法在水下场景重建方面的有效性。与现有最先进的方法相比，该方法在视觉质量和几何精度上均有明显改善，尤其是在深海等复杂环境下表现更佳。此外，新发布的数据集Submerged3D也为水下场景重建研究提供了宝贵的数据资源。

🎯 应用场景

该研究成果可应用于海洋机器人导航、水下文化遗产保护、水下环境监测与可视化、以及水下视觉分析等领域。高精度的水下场景重建能够帮助海洋机器人更好地理解周围环境，提高自主导航能力。同时，该技术也可用于重建水下考古遗址，为文化遗产保护提供技术支持。此外，该技术还有助于科学家研究水下生态系统，进行环境监测。

📄 摘要（原文）

Reconstructing high-fidelity underwater scenes remains a challenging task due to light absorption, scattering, and limited visibility inherent in aquatic environments. This paper presents an enhanced Gaussian Splatting-based framework that improves both the visual quality and geometric accuracy of deep underwater rendering. We propose decoupled learning for RGB channels, guided by the physics of underwater attenuation, to enable more accurate colour restoration. To address sparse-view limitations and improve view consistency, we introduce a frame interpolation strategy with a novel adaptive weighting scheme. Additionally, we introduce a new loss function aimed at reducing noise while preserving edges, which is essential for deep-sea content. We also release a newly collected dataset, Submerged3D, captured specifically in deep-sea environments. Experimental results demonstrate that our framework consistently outperforms state-of-the-art methods with PSNR gains up to 1.90dB, delivering superior perceptual quality and robustness, and offering promising directions for marine robotics and underwater visual analytics. The code of RUSplatting is available at https://github.com/theflash987/RUSplatting and the dataset Submerged3D can be downloaded at https://zenodo.org/records/15482420.