RefracGS: Novel View Synthesis Through Refractive Water Surfaces with 3D Gaussian Ray Tracing

📄 arXiv: 2603.21695v1 📥 PDF

作者: Yiming Shao, Qiyu Dai, Chong Gao, Guanbin Li, Yeqiang Wang, He Sun, Qiong Zeng, Baoquan Chen, Wenzheng Chen

分类: cs.CV, cs.GR

发布日期: 2026-03-23

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

RefracGS：通过高斯光线追踪重建折射水面下的新视角

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 折射表面 神经渲染 3D高斯溅射 光线追踪

📋 核心要点

  1. 现有NeRF和3DGS方法在新视角合成中表现出色，但它们假设光线直线传播，这在存在折射表面的情况下会失效，导致图像伪影。
  2. RefracGS通过显式地将折射表面与底层场景解耦来解决这个问题，使用神经高度场建模水面，并用3D高斯场表示水下场景。
  3. RefracGS实现了高保真度的新视角合成和视角一致的表面重建，训练速度提升15倍，并能达到200 FPS的实时渲染。

📝 摘要（中文）

通过非平面折射表面进行新视角合成(NVS)由于严重的、空间变化的 оптический искажения带来了根本性的挑战。虽然像NeRF和3D高斯溅射(3DGS)等最新表示在NVS方面表现出色，但它们对直线光线传播的假设在这种条件下会失效，导致显著的伪影。为了克服这个限制，我们引入了RefracGS，一个联合重建折射水面和界面下场景的框架。我们的关键见解是将折射边界与目标对象显式解耦：折射表面通过神经高度场建模，捕捉波的几何形状，而底层场景表示为3D高斯场。我们制定了一种折射感知的高斯光线追踪方法，该方法使用斯涅尔定律精确计算非线性光线轨迹，并有效地渲染底层高斯场，同时将损失梯度反向传播到参数化的折射表面。通过对两种表示的端到端联合优化，我们的方法确保了高保真度的NVS和视角一致的表面重建。在具有复杂波浪的合成和真实场景上的实验表明，RefracGS在视觉质量上优于先前的折射方法，同时实现了15倍的训练速度和200 FPS的实时渲染。

🔬 方法详解

问题定义：论文旨在解决通过非平面折射表面（例如水面）进行新视角合成时，由于光线折射导致的图像质量下降问题。现有的NeRF和3DGS方法假设光线直线传播，无法处理折射现象，导致严重的视觉伪影。这些方法无法准确重建水面下的场景，限制了其在水下视觉等领域的应用。

核心思路：RefracGS的核心思路是将折射表面和水下场景解耦，分别进行建模。具体来说，使用神经高度场来表示动态的水面，捕捉其复杂的几何形状。同时，使用3D高斯场来表示水下场景，利用高斯分布的特性来高效地进行渲染。通过这种解耦，可以更准确地模拟光线在水面的折射，从而提高新视角合成的质量。

技术框架：RefracGS的整体框架包括以下几个主要模块：1) 神经高度场建模：使用神经网络来预测水面的高度，从而表示水面的几何形状。2) 折射感知光线追踪：根据斯涅尔定律，计算光线在水面的折射路径。3) 3D高斯场渲染：使用3D高斯场来表示水下场景，并根据光线路径进行渲染。4) 端到端优化：联合优化神经高度场和3D高斯场，以实现高保真度的新视角合成。

关键创新：RefracGS的关键创新在于其折射感知的光线追踪方法和对折射表面与水下场景的解耦表示。传统的NeRF和3DGS方法无法处理折射现象，而RefracGS通过显式地建模折射表面，并根据斯涅尔定律计算光线路径，从而能够准确地模拟光线在水面的折射。此外，将折射表面和水下场景解耦，可以更灵活地进行优化，提高新视角合成的质量。

关键设计：RefracGS的关键设计包括：1) 使用MLP网络来表示神经高度场，输入是2D坐标，输出是水面的高度。2) 使用斯涅尔定律来计算光线在水面的折射角度。3) 使用3D高斯分布来表示水下场景，每个高斯分布包含位置、协方差和颜色等参数。4) 使用光栅化方法来渲染3D高斯场，并使用反向传播算法来优化神经高度场和3D高斯场的参数。损失函数包括渲染损失和正则化损失，以保证渲染质量和表面平滑性。

📊 实验亮点

RefracGS在合成和真实数据集上都取得了显著的成果。在视觉质量上，RefracGS优于现有的折射方法。更重要的是，RefracGS实现了15倍的训练速度提升，并能够达到200 FPS的实时渲染速度。这些结果表明，RefracGS是一种高效且高质量的新视角合成方法。

🎯 应用场景

RefracGS在水下机器人视觉、水下场景重建、水下增强现实等领域具有广泛的应用前景。它可以用于提高水下图像的质量，帮助水下机器人更好地感知环境，并为用户提供更逼真的水下体验。此外，该技术还可以应用于虚拟现实和游戏开发，创造更真实的水面效果。

📄 摘要（原文）

Novel view synthesis (NVS) through non-planar refractive surfaces presents fundamental challenges due to severe, spatially varying optical distortions. While recent representations like NeRF and 3D Gaussian Splatting (3DGS) excel at NVS, their assumption of straight-line ray propagation fails under these conditions, leading to significant artifacts. To overcome this limitation, we introduce RefracGS, a framework that jointly reconstructs the refractive water surface and the scene beneath the interface. Our key insight is to explicitly decouple the refractive boundary from the target objects: the refractive surface is modeled via a neural height field, capturing wave geometry, while the underlying scene is represented as a 3D Gaussian field. We formulate a refraction-aware Gaussian ray tracing approach that accurately computes non-linear ray trajectories using Snell's law and efficiently renders the underlying Gaussian field while backpropagating the loss gradients to the parameterized refractive surface. Through end-to-end joint optimization of both representations, our method ensures high-fidelity NVS and view-consistent surface recovery. Experiments on both synthetic and real-world scenes with complex waves demonstrate that RefracGS outperforms prior refractive methods in visual quality, while achieving 15x faster training and real-time rendering at 200 FPS. The project page for RefracGS is available at https://yimgshao.github.io/refracgs/.