GlassFormer: Learning Real-time Glass Segmentation using Radar-Depth Fusion

📄 arXiv: 2609.36844v1 📥 PDF

作者: Suhani Grover, Astik Srivastava, Viswas Dinesh, Avinash Sharma, K. Madhava Krishna

分类: cs.CV, cs.RO

发布日期: 2026-09-29

备注: Accepted for presentation at IEEE IROS 2026. Code available at https://github.com/Suhani92/GlassFormer

💡 一句话要点

提出GlassFormer以解决透明表面分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 透明表面分割 多模态融合 毫米波雷达 深度学习 机器人感知 实时处理 变换器网络

📋 核心要点

  1. 现有的视觉和深度传感方法在透明表面分割中存在显著不足，导致机器人导航时可能误判环境。
  2. 本文提出的GlassFormer通过融合毫米波雷达与RGB-D传感，利用雷达的几何线索来增强透明表面的分割能力。
  3. 实验结果表明，GlassFormer在混合条件下的mIoU达到0.88，低光条件下的mIoU为0.59，显著优于仅依赖视觉的方法。

📝 摘要（中文）

透明表面在建筑环境中普遍存在，但在机器人感知中仍然是一个持续的失败案例。RGB相机无法准确捕捉玻璃表面，而深度传感器在透明区域常常返回无效或背景测量。现有的玻璃分割方法依赖于RGB图像中的视觉线索，但在低光照或反射条件下效果不佳。本文提出了一种多模态框架，融合毫米波雷达与RGB-D传感，实时进行透明表面分割。雷达能够可靠地反射玻璃表面，提供几何线索，克服视觉和深度传感的局限。我们将这一跨模态不一致性用于生成雷达引导的空间先验，并通过跨模态注意力集成到轻量级的变换器网络GlassFormer中。实验结果显示，GlassFormer在混合条件下的mIoU达到0.88，在低光条件下的mIoU为0.59，展现了显著的鲁棒性提升。

🔬 方法详解

问题定义：本文旨在解决透明表面（如玻璃）在机器人感知中的分割问题。现有方法在低光照、反射或特征缺失的情况下表现不佳，导致误判环境。

核心思路：论文提出通过融合毫米波雷达与RGB-D传感器，利用雷达对玻璃的强反射特性，提供可靠的几何线索，从而改善透明表面的分割效果。

技术框架：整体架构包括雷达数据与RGB-D数据的融合，生成雷达引导的空间先验，并通过轻量级的变换器网络GlassFormer进行分割。主要模块包括数据预处理、特征提取和跨模态注意力机制。

关键创新：最重要的创新在于利用雷达与视觉数据的跨模态不一致性，生成空间先验，显著提升了透明表面的分割精度，与现有视觉方法相比具有本质区别。

关键设计：在网络设计中，采用轻量级变换器结构，优化了参数设置和损失函数，以适应实时处理的需求，同时确保在资源受限的平台上保持高效性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GlassFormer在混合条件下的mIoU达到0.88，而在低光条件下的mIoU为0.59，较传统视觉方法有显著提升，展现了在复杂环境下的鲁棒性和实时性能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、服务机器人和智能家居等场景，能够显著提升机器人在复杂环境中的导航和交互能力。未来，随着技术的进步，GlassFormer可能会在更多实际应用中发挥重要作用，改善人机交互体验。

📄 摘要（原文）

Transparent surfaces are ubiquitous in built environments, yet they remain a persistent failure case for robotic perception. RGB cameras perceive the background behind glass rather than the surface itself, while depth sensors such as LiDAR, time-of-flight, and RGB-D often return invalid or background measurements in transparent regions. As a result, systems that rely solely on optical sensing may misinterpret glass walls, doors, or mirrors as free space, compromising safe and reliable navigation. Existing glass segmentation approaches address this by learning visual cues such as reflections, boundaries, and semantic context from RGB images. While effective under favourable lighting and viewing conditions, these cues degrade in low-light environments, under glare, or when glass surfaces are featureless or partially occluded. In this work, we propose a multimodal framework that fuses millimetre-wave radar with RGB-D sensing for real-time transparent surface segmentation. Radar reflects strongly off glass surfaces, providing a geometric cue that remains reliable precisely where vision and depth fail. We exploit this cross-modal inconsistency to generate a radar-guided spatial prior, which is integrated into a lightweight transformer-based segmentation network, GlassFormer, via cross-modal attention. We report results on a mixed-condition test split covering all scene types and a dedicated low-light split designed to stress vision-only methods. GlassFormer achieves 0.88 mIoU on the mixed split, and 0.59 mIoU on the low light split, demonstrating substantial robustness gains over vision-only baselines while maintaining real-time performance on resource-constrained platforms.