GelSlim 5.0: Unifying Vision and Touch with a Single Fingertip Camera

📄 arXiv: 2610.31334v1 📥 PDF

作者: Xiangdong Wang, I-Hsuan Huang, Xiaohao Xu, Xili Yi, Nima Fazeli, Xiaonan Huang

分类: cs.RO

发布日期: 2026-10-22

💡 一句话要点

提出GelSlim 5.0以解决视觉与触觉融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 触觉传感 视觉感知 机器人技术 深度学习

📋 核心要点

  1. 现有方法在接触点的外部相机常常被遮挡，导致视觉和触觉信息无法有效融合。
  2. GelSlim 5.0通过一个固定相机和UV响应接触层，结合视觉和触觉信息，避免了相机间的外部标定问题。
  3. 实验结果表明，配对输入在深度、角度和平移误差上相较于单一模态推理有显著提升，验证了方法的有效性。

📝 摘要（中文）

视觉和触觉为物体姿态和局部接触几何提供了互补线索，但外部相机在接触点常常被遮挡。我们提出了GelSlim 5.0，这是一种指尖传感器，能够通过一个固定相机和一个连续UV响应的接触层获取视觉和触觉观察。通过切换照明，相机可以从共享视角顺序获取透膜视觉图像和接触敏感的触觉图像，从而避免了相机间的外部标定。为结合这些观察，我们引入了VisTacFusion，这是一种多模态变换器，具有针对平面物体姿态和接触几何的独立预测路径。非对称瓶颈融合在保留触觉空间特征的同时，结合了视觉上下文以进行深度和表面法线估计。模态丢弃使得可以使用配对输入或单一模态进行推理。在来自12个已知物体的真实验证数据上，配对输入相较于仅使用触觉推理的深度均方误差、角度误差和平移$L_1$分别降低了61.2%、72.3%和61.3%。相较于仅使用视觉推理，相关的降低幅度为93.7%、6.1%和8.6%。

🔬 方法详解

问题定义：本论文旨在解决视觉与触觉信息融合中的遮挡问题，现有方法在接触点常常无法有效获取所需信息。

核心思路：GelSlim 5.0通过一个固定相机和UV响应的接触层，利用切换照明技术获取视觉和触觉数据，避免了相机间的外部标定。

技术框架：整体架构包括一个固定相机、UV响应接触层和VisTacFusion多模态变换器。相机在不同照明条件下获取图像，VisTacFusion负责处理和融合这些数据。

关键创新：最重要的创新在于引入了VisTacFusion，它通过非对称瓶颈融合技术有效结合视觉和触觉信息，显著提高了深度和表面法线的估计精度。

关键设计：在设计中，采用了模态丢弃策略，使得系统可以在配对输入或单一模态下进行推理，同时在网络结构中优化了损失函数以提高融合效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用配对输入的情况下，深度均方误差、角度误差和平移$L_1$分别减少了61.2%、72.3%和61.3%，相较于仅使用触觉推理，验证了方法的有效性和优势。与仅使用视觉推理相比，相关的降低幅度为93.7%、6.1%和8.6%。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、虚拟现实和增强现实等场景，能够提升机器对物体的感知能力和交互体验。未来，GelSlim 5.0有望在智能制造和人机交互等领域发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Vision and touch provide complementary cues for object pose and local contact geometry, but external cameras are often occluded at the contact site. We present GelSlim 5.0, a fingertip sensor that acquires visual and tactile observations with one fixed camera and a continuous UV-responsive contact layer. By switching illumination, the camera sequentially acquires through-membrane visual images and contact-sensitive tactile images from a shared viewpoint, avoiding inter-camera extrinsic calibration. To combine these observations, we introduce VisTacFusion, a multimodal transformer with separate prediction paths for planar object pose and contact geometry. Asymmetric bottleneck fusion incorporates visual context while preserving tactile spatial features for depth and surface-normal estimation. Modality dropout enables inference with paired inputs or either modality alone. On real validation data from 12 known objects, paired inputs reduce depth MSE, angular error, and translation $L_1$ by 61.2%, 72.3%, and 61.3%, respectively, relative to tactile-only inference with the same model. Relative to visual-only inference, the corresponding reductions are 93.7%, 6.1%, and 8.6%.