SILICA: Repurposing Diffusion Priors for Joint Glass Segmentation and Depth Estimation

📄 arXiv: 2607.24249v1 📥 PDF

作者: Tarun R, Anuj Verma, Laksh Nanwani, Sourav Garg, K. Madhava Krishna

分类: cs.CV, cs.RO

发布日期: 2026-07-27

备注: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2026

💡 一句话要点

提出SILICA以解决透明表面深度估计与分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 透明表面 深度估计 玻璃分割 扩散模型 机器学习 自动驾驶 环境感知

📋 核心要点

  1. 现有的深度传感器在透明表面上表现不佳，导致3D地图失真，影响导航安全。
  2. SILICA通过利用文本到图像扩散模型的先验知识，联合预测玻璃分割和深度，解决了深度估计中的玻璃问题。
  3. 实验结果显示，SILICA在多种新环境中实现了近20%的性能提升，超越了当前最先进的模型。

📝 摘要（中文）

标准深度传感器在透明表面上表现不佳，导致3D地图失真和导航风险。尽管专用硬件可以检测玻璃，但缺乏模块化和广泛的硬件依赖。学习型单目深度估计成为一种替代方案，但在面对陌生室内布局时，缺乏真实世界玻璃深度标注的限制使其难以泛化。为此，我们提出SILICA，一个利用文本到图像扩散模型的统一管道，能够联合预测玻璃分割和玻璃感知深度。通过这种互信息交换，完全消除了对配对真实世界玻璃深度标注的需求。实验表明，SILICA在多种未见环境中实现了显著的零-shot迁移，超越了现有最先进模型近20%，为透明表面感知设定了新基准。

🔬 方法详解

问题定义：本研究旨在解决透明表面（如玻璃）在深度估计中的挑战，现有方法在缺乏真实标注的情况下难以泛化，导致深度估计不准确。

核心思路：SILICA通过利用文本到图像扩散模型的丰富先验知识，建立了一个联合预测玻璃分割和深度的管道，从而实现对透明表面的有效感知。

技术框架：整体架构包括两个主要模块：玻璃分割模块和深度估计模块。首先，通过扩散模型生成的先验信息进行玻璃分割，然后利用分割结果进行深度估计，形成一个闭环反馈机制。

关键创新：SILICA的创新在于完全消除了对配对真实世界玻璃深度标注的需求，通过互信息交换实现了更高效的学习和泛化能力。

关键设计：在设计中，采用了特定的损失函数来平衡分割和深度估计的目标，同时引入了新的数据集Mirage 18k，以支持模型训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SILICA在多种未见环境中实现了显著的零-shot迁移，性能提升近20%，超越了当前最先进的模型，设定了透明表面感知的新基准。这一成果为未来的深度估计和环境感知技术提供了新的方向。

🎯 应用场景

该研究在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过准确估计透明表面的深度，能够显著提高这些系统的安全性和可靠性，减少导航中的碰撞风险，提升用户体验。

📄 摘要（原文）

Standard depth sensors systematically fail on transparent surfaces, creating corrupted 3D maps and severe navigation hazards. While specialized hardware sensors can detect glass, they lack modularity and have extensive hardware dependencies. Consequently, learning-based monocular depth estimation has emerged as a compelling alternative. However, domain-specific glass-aware monocular depth estimators struggle with unfamiliar indoor layouts; restricted by the severe scarcity of real-world glass depth annotations, they fail to generalize zero-shot to new settings. This motivates us to explore whether the extensive priors of text-to-image diffusion models can enable generalizable perception of transparent surfaces. We introduce SILICA, a unified pipeline leveraging these priors to jointly predict glass segmentation and glass-aware depth. This mutual information exchange establishes a robust spatial hierarchy, entirely eliminating the need for paired real-world glass depth annotations. Subsequently, we use the predicted segmentation mask to explicitly filter incorrect glass depth points from standard sensors, recovering accurate metric glass depth for downstream 3D mapping and autonomous collision avoidance. Supported by our novel Mirage 18k dataset, extensive experiments demonstrate that SILICA achieves remarkable zero-shot transfer across diverse, unseen environments, outperforming state-of-the-art models by almost 20% and setting a new benchmark for transparent surface perception.