TRAN-D: 2D Gaussian Splatting-based Sparse-view Transparent Object Depth Reconstruction via Physics Simulation for Scene Update

📄 arXiv: 2507.11069v3 📥 PDF

作者: Jeongyun Kim, Seunghoon Jeong, Giseop Kim, Myung-Hwan Jeon, Eunji Jun, Ayoung Kim

分类: cs.RO, cs.CV

发布日期: 2025-07-15 (更新: 2025-08-26)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

TRAN-D：基于2D高斯溅射和物理仿真的稀疏视角透明物体深度重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 透明物体重建 深度估计 高斯溅射 物理仿真 稀疏视角 动态场景 计算机视觉

📋 核心要点

  1. 现有方法难以从稀疏视角RGB图像中重建透明物体的3D几何结构，因为其固有的反射和折射物理特性。
  2. TRAN-D通过分离透明物体与背景，并结合物理仿真进行优化，实现了更精确的深度重建。
  3. 实验结果表明，TRAN-D在合成和真实数据上均显著优于现有方法，尤其在单张图像更新方面。

📝 摘要（中文）

本文提出TRAN-D，一种基于2D高斯溅射的透明物体深度重建新方法，尤其针对稀疏视角和动态环境。核心思想是将透明物体与背景分离，从而能够专注于优化对应于该物体的高斯分布。通过物体感知损失来减少伪影，该损失将高斯分布放置在遮挡区域，确保覆盖不可见表面，同时减少过拟合。此外，我们结合了基于物理的仿真，可在几秒钟内优化重建，有效地处理物体移除和剩余物体的链式反应运动，而无需重新扫描。在合成和真实序列上的评估表明，TRAN-D始终优于现有的基于高斯溅射的最先进方法。与基线相比，TRAN-D在合成TRansPose序列上的平均绝对误差降低了39%以上。此外，仅使用一张图像进行更新时，TRAN-D的δ < 2.5 cm 精度达到48.46%，是使用六张图像的基线的1.5倍以上。

🔬 方法详解

问题定义：论文旨在解决从稀疏视角RGB图像中重建透明物体深度的问题。现有方法，特别是基于神经辐射场（NeRF）的方法，在处理透明物体的反射、折射等复杂光学现象时，容易产生伪影和不准确的几何结构。此外，动态场景中物体的移除和运动也给重建带来了挑战。

核心思路：TRAN-D的核心思路是将透明物体与背景分离，并针对透明物体进行专门优化。通过这种方式，可以更有效地处理透明物体的光学特性，减少伪影。此外，引入物理仿真来处理动态场景中的物体移除和运动，避免了重新扫描的需求。

技术框架：TRAN-D的整体框架包括以下几个主要阶段：1) 使用2D高斯溅射表示场景；2) 分离透明物体与背景；3) 使用物体感知损失优化高斯分布，减少伪影；4) 使用物理仿真更新场景，处理物体移除和运动。该框架允许在稀疏视角下进行准确的透明物体深度重建，并能快速适应动态场景的变化。

关键创新：TRAN-D的关键创新在于：1) 将透明物体与背景分离，实现针对性优化；2) 引入物体感知损失，减少伪影并覆盖不可见表面；3) 结合物理仿真，快速处理动态场景变化。与现有方法相比，TRAN-D能够更准确地重建透明物体的深度，并能更好地适应动态场景。

关键设计：TRAN-D的关键设计包括：1) 物体感知损失：该损失函数鼓励高斯分布覆盖被遮挡的区域，从而减少伪影。2) 基于物理的仿真：使用物理引擎模拟物体移除和运动，并相应地更新高斯分布。3) 2D高斯溅射表示：使用2D高斯分布来表示场景，相比于NeRF等方法，具有更快的渲染速度和更低的内存占用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TRAN-D在合成TRansPose序列上的平均绝对误差比现有基线降低了39%以上。在仅使用一张图像进行更新的情况下，TRAN-D的δ < 2.5 cm 精度达到了48.46%，是使用六张图像的基线的1.5倍以上。这些结果表明，TRAN-D在透明物体深度重建方面具有显著的优势，尤其是在稀疏视角和动态场景下。

🎯 应用场景

TRAN-D可应用于机器人抓取、增强现实、虚拟现实等领域。在机器人抓取中，准确的透明物体深度信息可以帮助机器人更好地识别和抓取透明物体。在AR/VR中，TRAN-D可以用于创建更逼真的透明物体渲染效果，提升用户体验。此外，该技术还可用于工业检测，例如检测透明容器中的液体含量。

📄 摘要（原文）

Understanding the 3D geometry of transparent objects from RGB images is challenging due to their inherent physical properties, such as reflection and refraction. To address these difficulties, especially in scenarios with sparse views and dynamic environments, we introduce TRAN-D, a novel 2D Gaussian Splatting-based depth reconstruction method for transparent objects. Our key insight lies in separating transparent objects from the background, enabling focused optimization of Gaussians corresponding to the object. We mitigate artifacts with an object-aware loss that places Gaussians in obscured regions, ensuring coverage of invisible surfaces while reducing overfitting. Furthermore, we incorporate a physics-based simulation that refines the reconstruction in just a few seconds, effectively handling object removal and chain-reaction movement of remaining objects without the need for rescanning. TRAN-D is evaluated on both synthetic and real-world sequences, and it consistently demonstrated robust improvements over existing GS-based state-of-the-art methods. In comparison with baselines, TRAN-D reduces the mean absolute error by over 39% for the synthetic TRansPose sequences. Furthermore, despite being updated using only one image, TRAN-D reaches a δ < 2.5 cm accuracy of 48.46%, over 1.5 times that of baselines, which uses six images. Code and more results are available at https://jeongyun0609.github.io/TRAN-D/.