TransmissiveGS: Residual-Guided Disentangled Gaussian Splatting for Transmissive Scene Reconstruction and Rendering

📄 arXiv: 2605.10705v1 📥 PDF

作者: Zhenyu Liang, Xiao Zhang, Tianchao Li, Jack C. P. Cheng, Chi-Keung Tang

分类: cs.CV

发布日期: 2026-05-11

💡 一句话要点

提出TransmissiveGS框架，通过残差引导的解耦高斯溅射实现透射场景的高保真重建与渲染。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 场景解耦 透射重建 反射建模 多视图几何 计算机视觉 神经渲染

📋 核心要点

  1. 现有方法难以处理透射表面上近场反射与背景透射内容的纠缠，导致几何与外观建模存在严重歧义。
  2. 提出双高斯表示与延迟着色函数，利用反射的多视图不一致性及重建残差实现反射与透射的有效解耦。
  3. 在合成与真实场景实验中，TransmissiveGS在重建精度与渲染质量上均显著超越了现有的高斯溅射基线方法。

📝 摘要（中文）

透射场景在日常生活中无处不在，但由于透射表面上环境的近场反射与背景透射内容之间存在固有的纠缠，对其进行重建和渲染极具挑战性。这种耦合导致每次观测中都存在双重表面几何和双重辐射分量，给标准方法带来了歧义。本文提出了TransmissiveGS，这是一个用于透射场景解耦重建与渲染的新型框架。具体而言，我们采用双高斯表示对场景进行建模，并引入延迟着色函数来联合渲染这两个高斯分量。为了分离反射和透射，我们利用了反射固有的多视图不一致性，并将重建多视图一致性内容产生的残差作为解耦几何和外观建模的线索。此外，我们提出了一种反射光场，能够实现近场反射的高保真估计。在训练过程中，我们引入了高频正则化以保留精细细节，并贡献了一个用于评估透射表面重建的新合成数据集。实验表明，TransmissiveGS在透射场景的重建和渲染质量上均优于现有的高斯溅射方法。

🔬 方法详解

问题定义：论文旨在解决透射场景（如玻璃、透明塑料）中反射与透射分量高度耦合的问题。现有基于高斯溅射的方法通常假设场景是漫反射或单一表面，无法处理透射表面带来的双重几何与双重辐射歧义。

核心思路：核心思想是将场景解耦为两个独立的高斯分量：背景透射层与表面反射层。利用反射随视角剧烈变化的特性（多视图不一致性），通过残差引导机制将一致性内容（背景）与非一致性内容（反射）分离。

技术框架：整体架构采用双高斯表示，结合延迟着色函数进行联合渲染。系统包含背景高斯建模模块、反射高斯建模模块以及用于估计近场反射的反射光场模块，通过多视图一致性约束与残差反馈进行联合优化。

关键创新：最重要的创新在于引入了“残差引导”机制，将重建背景内容时的残差作为监督信号，显式地引导反射分量的学习。此外，反射光场的设计有效解决了近场反射难以建模的问题。

关键设计：采用了高频正则化技术以防止在解耦过程中丢失纹理细节；通过延迟着色函数确保两个高斯分量在渲染时能正确融合；引入了针对透射场景的专用损失函数，以平衡背景一致性与反射动态性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TransmissiveGS在处理复杂透射场景时，PSNR、SSIM及LPIPS指标均显著优于现有的3DGS及其变体。特别是在反射与透射分离的准确度上，该方法能够清晰地恢复背景细节并准确捕捉镜面反射的动态变化，在合成数据集和真实世界复杂场景中均表现出极强的鲁棒性。

🎯 应用场景

该技术在增强现实（AR）与虚拟现实（VR）中具有重要价值，可用于高保真数字孪生构建，特别是在包含玻璃幕墙、橱窗展示等复杂透射表面的室内外场景重建。此外，在电影特效制作、自动驾驶环境感知以及工业透明件缺陷检测领域也具有广泛的应用前景。

📄 摘要（原文）

Transmissive scenes are ubiquitous in daily life, yet reconstructing and rendering them remains highly challenging due to the inherent entanglement between near-field reflections from the surrounding environment on the transmissive surface, and the transmitted content of the scene behind it. This coupling gives rise to dual surface geometries and dual radiance components within each observation, posing ambiguities for standard methods. We present TransmissiveGS, a novel framework for disentangled reconstruction and rendering of transmissive scenes. Specifically, we model the scene with a dual-Gaussian representation and introduce a deferred shading function to jointly render the two Gaussian components. To separate reflection and transmission, we exploit the inherent multi-view inconsistency of reflections and leverage the residuals from reconstructing multi-view consistent content as cues for disentangled geometry and appearance modeling. We further propose a reflection light field that enables high-fidelity estimation of near-field reflections. During training, we introduce a high-frequency regularization to preserve fine details. We also contribute a new synthetic dataset for evaluating transmissive surface reconstruction. Experiments on both synthetic and real-world scenes demonstrate that TransmissiveGS consistently outperforms prior Gaussian Splatting-based methods in both reconstruction and rendering quality for transmissive scenes.