Underwater360: Reconstructing Underwater Scenes from Panoramic Images with Omnidirectional Gaussian Splatting
作者: Jiangbei Hu, Weichao Song, Shibo Yu, Mohan Wang, Zihan Yi, Rui Wu, Mingkang Xiang, Na Lei, Shengfa Wang, Zhongxuan Luo, Ying He
分类: cs.CV
发布日期: 2026-05-26
🔗 代码/项目: GITHUB
💡 一句话要点
提出Underwater360，利用全景高斯溅射重建水下场景，解决水下图像退化和视角畸变问题。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 水下场景重建 全景图像 高斯溅射 新视角合成 水下渲染 物理建模 水下图像恢复
📋 核心要点
- 传统水下场景重建受限于相机视场角，且水下环境的光线吸收和散射导致图像质量下降，现有方法难以兼顾。
- Underwater360提出全向高斯溅射模块，在球面相机空间进行光线投射，减少几何畸变，并设计物理外观-介质建模架构。
- 通过合成和真实水下场景数据集的实验验证，Underwater360在水下新视角合成和场景外观恢复方面均优于现有方法。
📝 摘要（中文）
水下场景重建对于水生环境的沉浸式探索至关重要，但由于复杂的参与介质效应（如吸收和散射）以及传统相机有限的视场（FoV）而仍然具有挑战性。将全景成像与3D高斯溅射（3DGS）相结合为逼真的水下渲染提供了一个有希望的方向，但传统的3DGS在球面投影畸变和水下介质退化方面都存在问题。本文提出了Underwater360，一个基于物理的全向3DGS框架，用于水下全景场景重建。首先，我们引入了一个全向高斯溅射模块，该模块直接在球面相机空间中执行光线投射，而不是依赖于2D投影近似，从而减少了360°FoV下的几何畸变。其次，我们设计了一个基于物理的外观-介质建模架构，具有姿态条件外观嵌入，以将内在场景辐射与深度相关的后向散射和衰减显式解耦，从而实现基于物理的场景外观恢复。最后，我们建立了一个新的全景水下基准数据集，包含合成和真实场景。大量的实验表明，Underwater360在水下新视角合成和场景外观恢复方面取得了优异的性能，在复杂的水下环境中提供了改进的渲染质量和跨视角一致性。
🔬 方法详解
问题定义：水下场景重建面临两个主要问题：一是传统相机视场角有限，难以捕捉完整场景信息；二是水下环境中的光线吸收和散射效应导致图像质量严重下降，出现颜色失真和细节模糊。现有的3D高斯溅射方法在处理全景图像时，由于球面投影的非线性，容易产生几何畸变，并且没有充分考虑水下介质对光线传播的影响，导致重建效果不佳。
核心思路：Underwater360的核心思路是将3D高斯溅射方法扩展到全景图像，并结合水下光线传播的物理模型，从而实现高质量的水下场景重建。具体来说，该方法通过在球面相机空间中进行光线投射来减少几何畸变，并利用姿态条件外观嵌入来解耦场景辐射和水下介质效应。
技术框架：Underwater360的整体框架包括以下几个主要模块：1) 全向高斯溅射模块：该模块直接在球面相机空间中进行光线投射，避免了2D投影近似带来的几何畸变。2) 物理外观-介质建模架构：该模块利用姿态条件外观嵌入来显式地建模场景辐射、后向散射和衰减等水下介质效应。3) 渲染模块：该模块根据高斯溅射的参数和水下光线传播模型，生成最终的渲染图像。
关键创新：Underwater360的关键创新在于以下两点：1) 提出了全向高斯溅射模块，能够有效地处理全景图像的几何畸变问题。2) 设计了物理外观-介质建模架构，能够显式地建模水下介质效应，从而实现更逼真的水下场景重建。与现有方法相比，Underwater360能够更好地处理水下环境的复杂光线传播效应，并生成更高质量的重建结果。
关键设计：在全向高斯溅射模块中，论文采用了球面坐标系进行光线投射，并对高斯分布的参数进行了相应的调整，以适应球面几何。在物理外观-介质建模架构中，论文使用了姿态条件外观嵌入来建模场景辐射，并利用深度信息来估计后向散射和衰减系数。损失函数方面，论文采用了L1损失和感知损失相结合的方式，以提高重建结果的视觉质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Underwater360在合成和真实水下场景数据集上均取得了显著的性能提升。在水下新视角合成任务中，Underwater360的PSNR指标平均提升了2-3dB，LPIPS指标平均降低了0.05-0.1。此外，Underwater360在场景外观恢复方面也表现出色，能够有效地消除水下图像的颜色失真和细节模糊，恢复场景的真实色彩和纹理。
🎯 应用场景
Underwater360在水下机器人导航、水下考古、海洋生物研究、虚拟现实水下旅游等领域具有广泛的应用前景。该技术能够帮助人们更清晰、更真实地观察和探索水下世界，为相关领域的科学研究和工程应用提供有力支持，并有望促进水下文化遗产的保护和利用。
📄 摘要（原文）
Underwater scene reconstruction is essential for immersive exploration of aquatic environments, yet remains challenging due to complex participating-media effects such as absorption and scattering, as well as the limited field of view (FoV) of conventional cameras. Although combining panoramic imaging with 3D Gaussian Splatting (3DGS) offers a promising direction for photorealistic underwater rendering, traditional 3DGS struggles with both spherical projection distortion and underwater medium degradation. In this paper, we propose \textbf{Underwater360}, a physics-informed omnidirectional 3DGS framework for underwater panoramic scene reconstruction. First, we introduce an Omnidirectional Gaussian Splatting module that performs ray casting directly in spherical camera space instead of relying on 2D projection approximations, thereby reducing geometric distortions under 360$^\circ$ FoV. Second, we design a physics-based appearance-medium modeling architecture with pose-conditioned appearance embeddings to explicitly decouple intrinsic scene radiance from depth-dependent backscatter and attenuation, enabling physically grounded scene appearance restoration. Finally, we establish a new panoramic underwater benchmark dataset containing both synthetic and real-world scenes. Extensive experiments demonstrate that Underwater360 achieves superior performance in underwater novel view synthesis and scene appearance restoration, delivering improved rendering quality and cross-view consistency in complex underwater environments. The code and datasets are released at https://github.com/SwcK423/Underwater360