TSGS: Improving Gaussian Splatting for Transparent Surface Reconstruction via Normal and De-lighting Priors
作者: Mingwei Li, Pu Pang, Hehe Fan, Hua Huang, Yi Yang
分类: cs.CV
发布日期: 2025-04-17 (更新: 2025-08-03)
备注: Project page: https://longxiang-ai.github.io/TSGS/ . Accepted by ACM MM 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
TSGS：通过法线和去光照先验改进高斯溅射透明表面重建
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 透明物体重建 高斯溅射 几何学习 外观渲染 深度估计 机器人操作 计算机视觉
📋 核心要点
- 现有3D高斯溅射方法在透明物体重建中面临透明度-深度困境，难以同时保证渲染真实性和几何精度。
- TSGS框架将几何学习与外观细化分离，先通过抑制镜面反射的输入学习几何，再进行外观优化，维持几何精度。
- TSGS采用第一表面深度提取方法，通过滑动窗口和加权平均深度计算，提升深度推断的准确性。
📝 摘要（中文）
透明表面的重建对于实验室机器人操作等任务至关重要，但对于3D高斯溅射(3DGS)等3D重建技术来说，这是一个巨大的挑战。这些方法经常遇到透明度-深度困境，即通过标准α混合追求逼真的渲染会损害几何精度，导致透明材料的深度估计出现相当大的误差。为了解决这个问题，我们引入了透明表面高斯溅射(TSGS)，这是一个新的框架，它将几何学习与外观细化分离开来。在几何学习阶段，TSGS通过使用抑制镜面反射的输入来准确表示表面，从而专注于几何。在第二阶段，TSGS通过各向异性镜面建模来提高视觉保真度，关键是保持已建立的不透明度以确保几何精度。为了提高深度推断，TSGS采用了一种第一表面深度提取方法。该技术使用滑动窗口对α混合权重进行处理，以精确定位最可能的表面位置，并计算鲁棒的加权平均深度。为了评估真实条件下的透明表面重建任务，我们收集了一个TransLab数据集，其中包括复杂的透明实验室玻璃器皿。在TransLab上的大量实验表明，TSGS在高效的3DGS框架内同时实现了透明物体的精确几何重建和逼真的渲染。具体来说，TSGS显著超越了当前领先的方法，与最佳基线相比，倒角距离减少了37.3%，F1得分提高了8.0%。代码和数据集可在https://longxiang-ai.github.io/TSGS/上找到。
🔬 方法详解
问题定义：现有基于3D高斯溅射的透明物体重建方法，为了追求逼真的渲染效果，过度依赖α混合，导致深度估计不准确，几何结构失真，无法同时保证渲染质量和几何精度。这种透明度-深度之间的矛盾是现有方法的主要痛点。
核心思路：TSGS的核心思路是将透明物体的几何学习和外观渲染解耦。首先，专注于学习准确的几何结构，然后再进行外观的精细化渲染。通过这种方式，避免了在渲染过程中对几何结构的干扰，从而保证了重建的几何精度。
技术框架：TSGS包含两个主要阶段：几何学习阶段和外观细化阶段。在几何学习阶段，使用经过处理的、抑制了镜面反射的输入图像，训练3D高斯溅射模型，重点学习物体的几何结构。在外观细化阶段，利用各向异性镜面反射模型，对物体的外观进行精细化渲染，同时保持几何学习阶段获得的不透明度，以确保几何精度。此外，还引入了第一表面深度提取方法，进一步提升深度估计的准确性。
关键创新：TSGS的关键创新在于将几何学习和外观渲染解耦，并分别进行优化。与现有方法不同，TSGS不再试图通过单一的α混合过程同时实现逼真的渲染和准确的几何重建，而是将问题分解为两个独立的子问题，分别进行解决。这种解耦的思想是TSGS能够取得更好效果的关键。
关键设计：在几何学习阶段，使用了抑制镜面反射的输入，具体实现方式未知。在外观细化阶段，使用了各向异性镜面反射模型，具体模型结构未知。第一表面深度提取方法使用滑动窗口对α混合权重进行处理，并计算加权平均深度，窗口大小和权重计算方式未知。损失函数的设计也未知。
🖼️ 关键图片
📊 实验亮点
TSGS在TransLab数据集上进行了广泛的实验，结果表明，TSGS显著超越了当前领先的方法，与最佳基线相比，倒角距离减少了37.3%，F1得分提高了8.0%。这些数据表明，TSGS在透明物体的几何重建和渲染方面都取得了显著的提升，验证了该方法的有效性。
🎯 应用场景
TSGS在机器人操作、虚拟现实、增强现实等领域具有广泛的应用前景。例如，在实验室环境中，机器人需要准确感知和操作透明的玻璃器皿，TSGS可以提供精确的3D重建，帮助机器人更好地完成任务。此外，TSGS还可以用于创建更逼真的虚拟环境，提升用户体验。未来，该技术有望应用于更多需要精确透明物体重建的场景。
📄 摘要（原文）
Reconstructing transparent surfaces is essential for tasks such as robotic manipulation in labs, yet it poses a significant challenge for 3D reconstruction techniques like 3D Gaussian Splatting (3DGS). These methods often encounter a transparency-depth dilemma, where the pursuit of photorealistic rendering through standard $α$-blending undermines geometric precision, resulting in considerable depth estimation errors for transparent materials. To address this issue, we introduce Transparent Surface Gaussian Splatting (TSGS), a new framework that separates geometry learning from appearance refinement. In the geometry learning stage, TSGS focuses on geometry by using specular-suppressed inputs to accurately represent surfaces. In the second stage, TSGS improves visual fidelity through anisotropic specular modeling, crucially maintaining the established opacity to ensure geometric accuracy. To enhance depth inference, TSGS employs a first-surface depth extraction method. This technique uses a sliding window over $α$-blending weights to pinpoint the most likely surface location and calculates a robust weighted average depth. To evaluate the transparent surface reconstruction task under realistic conditions, we collect a TransLab dataset that includes complex transparent laboratory glassware. Extensive experiments on TransLab show that TSGS achieves accurate geometric reconstruction and realistic rendering of transparent objects simultaneously within the efficient 3DGS framework. Specifically, TSGS significantly surpasses current leading methods, achieving a 37.3% reduction in chamfer distance and an 8.0% improvement in F1 score compared to the top baseline. The code and dataset are available at https://longxiang-ai.github.io/TSGS/.