TransparentGS: Fast Inverse Rendering of Transparent Objects with Gaussians

📄 arXiv: 2504.18768v2 📥 PDF

作者: Letian Huang, Dongwei Ye, Jialin Dan, Chengzhi Tao, Huiwen Liu, Kun Zhou, Bo Ren, Yuanqi Li, Yanwen Guo, Jie Guo

分类: cs.GR, cs.CV

发布日期: 2025-04-26 (更新: 2025-05-01)

备注: accepted by SIGGRAPH 2025; https://letianhuang.github.io/transparentgs/

DOI: 10.1145/3730892

💡 一句话要点

TransparentGS：基于高斯分布的透明物体快速逆渲染方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 透明物体重建 逆渲染 高斯溅射 神经辐射场 光场探针

📋 核心要点

  1. 现有神经辐射场方法难以处理透明物体的镜面反射和折射，尤其是在复杂光照条件下，容易出现过拟合。
  2. TransparentGS通过引入透明高斯基元和高斯光场探针，结合延迟折射策略，有效建模透明物体的光线传播。
  3. 实验结果表明，TransparentGS在透明物体重建的速度和精度上均优于现有方法，并展示了其在图形学和视觉领域的应用潜力。

📝 摘要（中文）

神经辐射场和基于高斯分布的方法在新视角合成和3D物体重建方面取得了显著进展。然而，由于辐射场对高频光照变化的过度拟合和不稳定，镜面反射和折射仍然构成重大挑战。即使是强大的3D高斯溅射（3D-GS），也难以恢复具有附近内容的透明物体，因为存在明显的二次光线效应。为了解决这个问题，我们提出TransparentGS，一种基于3D-GS的透明物体快速逆渲染流程。主要贡献有三方面：首先，设计了一种有效的透明物体表示——透明高斯基元，通过延迟折射策略实现镜面折射。其次，利用高斯光场探针（GaussProbe）在一个统一的框架中编码环境光和附近内容。第三，提出了一种基于深度的迭代探针查询（IterQuery）算法，以减少基于探针框架中的视差误差。实验表明，我们的方法在从复杂环境中恢复透明物体方面具有速度和准确性，并且在计算机图形学和视觉方面有若干应用。

🔬 方法详解

问题定义：现有基于神经辐射场的方法，包括3D高斯溅射，在处理透明物体时面临挑战。由于透明物体的光线传播路径复杂，涉及多次折射和反射，导致辐射场难以准确建模，容易出现伪影和不准确的几何重建。尤其是在复杂环境中，周围物体的光线会通过透明物体发生复杂的交互，进一步加剧了重建难度。

核心思路：TransparentGS的核心思路是将透明物体表示为透明高斯基元，并利用高斯光场探针来编码环境光和周围物体的光照信息。通过延迟折射策略，可以高效地计算光线在透明物体中的传播路径，从而准确地建模镜面反射和折射效果。这种方法避免了直接对复杂光线路径进行建模，从而提高了重建的稳定性和准确性。

技术框架：TransparentGS的整体框架包括以下几个主要模块：1) 透明高斯基元表示：使用高斯分布来表示透明物体的几何和光学属性。2) 高斯光场探针（GaussProbe）：用于捕获环境光和周围物体的光照信息。3) 延迟折射策略：用于高效地计算光线在透明物体中的传播路径。4) 基于深度的迭代探针查询（IterQuery）：用于减少探针查询中的视差误差。整个流程首先使用高斯光场探针捕获环境光照，然后使用透明高斯基元表示透明物体，接着利用延迟折射策略计算光线传播路径，最后通过迭代探针查询优化重建结果。

关键创新：TransparentGS的关键创新在于以下几个方面：1) 提出了一种新的透明物体表示方法——透明高斯基元，能够有效地建模透明物体的几何和光学属性。2) 引入了高斯光场探针，能够在一个统一的框架中编码环境光和周围物体的光照信息。3) 提出了一种基于深度的迭代探针查询算法，能够有效地减少探针查询中的视差误差。

关键设计：TransparentGS的关键设计包括：1) 透明高斯基元的参数化，包括位置、协方差矩阵、颜色和透明度等。2) 高斯光场探针的放置策略，需要合理地覆盖场景中的光照信息。3) 延迟折射策略的实现细节，包括折射率的设置和光线传播路径的计算。4) 迭代探针查询算法的迭代次数和步长，需要根据具体场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了TransparentGS在透明物体重建方面的优越性。实验结果表明，TransparentGS在重建速度和精度上均优于现有的3D高斯溅射方法。具体来说，TransparentGS能够更准确地重建透明物体的几何形状和光学属性，并且能够有效地减少伪影和噪声。此外，TransparentGS还能够处理复杂环境中的透明物体，例如具有多个折射面的物体和具有复杂光照条件的场景。

🎯 应用场景

TransparentGS在计算机图形学和计算机视觉领域具有广泛的应用前景。例如，可以用于虚拟现实和增强现实中的透明物体渲染，提高场景的真实感和沉浸感。此外，还可以用于产品设计和可视化，帮助设计师更好地展示透明产品的外观和光学特性。在机器人领域，可以用于提高机器人对透明物体的感知能力，从而实现更智能的交互。

📄 摘要（原文）

The emergence of neural and Gaussian-based radiance field methods has led to considerable advancements in novel view synthesis and 3D object reconstruction. Nonetheless, specular reflection and refraction continue to pose significant challenges due to the instability and incorrect overfitting of radiance fields to high-frequency light variations. Currently, even 3D Gaussian Splatting (3D-GS), as a powerful and efficient tool, falls short in recovering transparent objects with nearby contents due to the existence of apparent secondary ray effects. To address this issue, we propose TransparentGS, a fast inverse rendering pipeline for transparent objects based on 3D-GS. The main contributions are three-fold. Firstly, an efficient representation of transparent objects, transparent Gaussian primitives, is designed to enable specular refraction through a deferred refraction strategy. Secondly, we leverage Gaussian light field probes (GaussProbe) to encode both ambient light and nearby contents in a unified framework. Thirdly, a depth-based iterative probes query (IterQuery) algorithm is proposed to reduce the parallax errors in our probe-based framework. Experiments demonstrate the speed and accuracy of our approach in recovering transparent objects from complex environments, as well as several applications in computer graphics and vision.