RT-Splatting: Joint Reflection-Transmission Modeling with Gaussian Splatting

📄 arXiv: 2605.18263v1 📥 PDF

作者: Ji Shi, Xianghua Ying, Bowei Xing, Ruohao Guo, Wenzhen Yue

分类: cs.CV

发布日期: 2026-05-18

备注: CVPR 2026 Highlight, Project Page: https://sjj118.github.io/RT-Splatting/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

RT-Splatting：用高斯溅射联合建模反射与透射，实现半透明物体高质量实时渲染

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 反射建模 透射建模 半透明渲染 实时渲染

📋 核心要点

  1. 现有3D高斯溅射方法难以处理半透明镜面表面的复杂反射和清晰透射，导致渲染效果不佳。
  2. RT-Splatting解耦高斯体的几何占据率和光学不透明度，实现表面-体积混合表示，统一处理反射和透射。
  3. 引入镜面感知梯度门控，抑制反射对透射的干扰，实验证明RT-Splatting在半透明场景中表现优异。

📝 摘要（中文）

本文提出RT-Splatting，一种利用高斯溅射进行联合反射-透射建模的框架，旨在解决现有方法在处理具有复杂反射和清晰透射的半透明镜面表面时，反射模糊或透射过度遮挡的问题。RT-Splatting将每个高斯体的几何占据率与其光学不透明度解耦，从而得到一个统一的表面-体积场景表示，并使用单一的高斯基元集合。混合渲染器将此表示既解释为捕捉高频反射的表面，又解释为保持清晰透射的体积。为了减轻联合优化反射和透射时的歧义，引入了镜面感知梯度门控，抑制来自高镜面区域的误导性梯度进入透射分支，有效减少了分散的伪影。在具有挑战性的半透明场景上的实验表明，RT-Splatting实现了最先进的性能，以实时渲染提供高保真反射和清晰透射。此外，这种分解自然地实现了灵活的场景编辑。

🔬 方法详解

问题定义：现有3D高斯溅射方法在渲染具有半透明和镜面反射特性的物体时，面临着难以同时准确捕捉高频反射和清晰透射的挑战。直接应用现有方法会导致反射模糊不清，或者透射部分被过度遮挡，无法真实地还原半透明物体的视觉效果。

核心思路：RT-Splatting的核心思路是将每个高斯基元的几何占据率和光学不透明度进行解耦。通过这种解耦，可以将高斯基元同时视为表面和体积，从而分别处理高频反射和清晰透射。这种混合表示方式允许模型更灵活地学习和表达场景中的光线传播行为。

技术框架：RT-Splatting的整体框架包含以下几个主要部分：首先，使用相机拍摄的图像作为输入，初始化一组3D高斯基元。然后，通过优化过程，学习每个高斯基元的几何占据率、光学不透明度、颜色等参数。在渲染阶段，使用混合渲染器，将高斯基元既解释为表面，用于计算反射光线，又解释为体积，用于计算透射光线。最后，将反射和透射的光线进行合成，得到最终的渲染图像。

关键创新：RT-Splatting的关键创新在于解耦了高斯基元的几何占据率和光学不透明度，并引入了镜面感知梯度门控机制。这种解耦使得模型能够同时表达表面的反射特性和体积的透射特性，从而更好地处理半透明物体。镜面感知梯度门控则通过抑制来自高镜面区域的梯度，减少了反射对透射学习的干扰，避免了伪影的产生。

关键设计：RT-Splatting的关键设计包括：1) 使用单一的高斯基元集合来表示场景，简化了模型结构；2) 设计了混合渲染器，能够同时处理反射和透射光线；3) 引入了镜面感知梯度门控，通过计算每个像素的镜面反射强度，动态地调整梯度更新的权重；4) 使用光度损失函数和正则化项来约束模型的学习过程，提高渲染质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RT-Splatting在半透明场景的渲染质量上显著优于现有方法，能够生成高保真度的反射和清晰的透射效果。与现有技术相比，RT-Splatting在PSNR、SSIM等指标上取得了显著提升，并且能够实现实时渲染，满足了交互式应用的需求。

🎯 应用场景

RT-Splatting在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于创建更逼真的虚拟场景，特别是包含半透明物体的场景，例如玻璃器皿、水面、烟雾等。此外，RT-Splatting的场景编辑能力也为内容创作提供了更大的灵活性。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) enables real-time novel view synthesis with high visual quality. However, existing methods struggle with semi-transparent specular surfaces that exhibit both complex reflections and clear transmission, often producing blurry reflections or overly occluded transmission. To address this, we present RT-Splatting, a framework that disentangles each Gaussian's geometric occupancy from its optical opacity. This factorization yields a unified surface-volume scene representation with a single set of Gaussian primitives. Our hybrid renderer interprets this representation both as a surface to capture high-frequency reflections and as a volume to preserve clear transmission. To mitigate the ambiguity in jointly optimizing reflection and transmission, we introduce Specular-Aware Gradient Gating, which suppresses misleading gradients from highly specular regions into the transmission branch, effectively reducing distracting floaters. Experiments on challenging semi-transparent scenes show that RT-Splatting achieves state-of-the-art performance, delivering high-fidelity reflections and clear transmission with real-time rendering. Moreover, our factorization naturally enables flexible scene editing. The project page is available at https://sjj118.github.io/RT-Splatting.