LightTact: A Visual-Tactile Fingertip Sensor for Deformation-Independent Contact Sensing
作者: Changyi Lin, Boda Huo, Mingyang Yu, Emily Ruppel, Bingqing Chen, Jonathan Francis, Ding Zhao
分类: cs.RO
发布日期: 2025-12-23
💡 一句话要点
LightTact：一种用于形变无关接触感知的视觉触觉指尖传感器
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉触觉传感器 接触感知 机器人操作 轻微接触 光学传感
📋 核心要点
- 现有触觉传感器依赖形变感知接触，在与液体等轻微接触时表现不佳，鲁棒性差。
- LightTact采用光学配置，阻挡环境光和内部光，仅传输接触产生的漫射光，直接可视化接触。
- 实验表明LightTact能准确分割接触区域，驱动机械臂完成轻微接触操作，并能被视觉语言模型解释。
📝 摘要（中文）
本文提出了一种名为LightTact的视觉触觉指尖传感器，用于解决轻微接触场景下的感知问题。现有触觉传感器通常依赖于形变来推断接触，这使得它们难以可靠地感知与液体、半液体或超软材料的轻微接触。LightTact采用一种基于光学的、与形变无关的原理，直接将接触可视化。它使用一种环境光阻挡的光学配置，抑制非接触区域的外部光和内部照明，只传输在真实接触处产生的漫射光。因此，LightTact产生高对比度的原始图像，其中非接触像素保持接近黑色（平均灰度值<3），而接触像素保留接触表面的自然外观。基于此，LightTact实现了精确的像素级接触分割，且对材料属性、接触力、表面外观和环境光照具有鲁棒性。此外，LightTact被集成到机械臂上，并展示了由极轻微接触驱动的操作行为，包括水扩散、面霜蘸取和薄膜交互。最后，研究表明LightTact的空间对齐的视觉触觉图像可以直接被现有的视觉语言模型解释，从而实现机器人分拣的电阻值推理。
🔬 方法详解
问题定义：现有触觉传感器主要依赖于接触引起的形变来推断接触信息。然而，在与液体、半液体或超软材料进行交互时，往往接触发生时没有明显的宏观表面形变。这导致传统触觉传感器难以在这种轻微接触场景下进行可靠的感知，限制了其应用范围。
核心思路：LightTact的核心思路是利用光学手段，直接将接触可视化，而无需依赖形变。通过设计一种特殊的光学配置，使得在没有接触时，传感器表面呈现近乎全黑的状态，而当发生接触时，接触区域会产生漫反射光，从而在图像中清晰地呈现出来。这种设计使得传感器对接触的感知不再依赖于材料的形变特性，从而能够更好地处理轻微接触的情况。
技术框架：LightTact传感器主要由以下几个部分组成：一个指尖形状的外壳，内部包含一个光源和一个相机。关键在于其特殊的光学配置，该配置能够阻挡环境光，并抑制内部光源在非接触区域的反射。当物体与传感器表面接触时，接触区域会产生漫反射光，这些光线会被相机捕捉到，形成高对比度的图像。整个流程可以概括为：环境光阻挡 -> 内部光抑制 -> 接触漫反射 -> 图像采集 -> 接触分割 -> 任务执行。
关键创新：LightTact最重要的技术创新点在于其形变无关的接触感知原理。与传统的基于形变的触觉传感器不同，LightTact直接利用光学手段将接触可视化，从而避免了对材料形变特性的依赖。这种方法使得传感器能够更好地处理轻微接触的情况，并且对材料属性、接触力、表面外观和环境光照具有更强的鲁棒性。
关键设计：LightTact的关键设计在于其环境光阻挡和内部光抑制的光学配置。具体来说，传感器外壳的设计需要能够有效地阻挡外部环境光进入传感器内部。同时，内部光源的放置和光路设计需要能够最大程度地抑制光线在非接触区域的反射。此外，图像处理算法也需要能够有效地分割接触区域，并提取有用的接触信息。论文中提到非接触像素的平均灰度值小于3，这是一个重要的设计目标。
🖼️ 关键图片
📊 实验亮点
LightTact实现了精确的像素级接触分割，且对材料属性、接触力、表面外观和环境光照具有鲁棒性。实验表明，LightTact能够驱动机械臂完成水扩散、面霜蘸取和薄膜交互等轻微接触操作。此外，通过将LightTact与视觉语言模型相结合，实现了机器人分拣的电阻值推理，展示了其强大的感知能力。
🎯 应用场景
LightTact在机器人操作领域具有广泛的应用前景，尤其是在需要精细操作和轻微接触感知的场景中。例如，它可以应用于食品处理、医疗手术、精密装配等领域。此外，结合视觉语言模型，LightTact还可以实现更高级的机器人任务，例如物体识别、属性推理等。未来，LightTact有望成为机器人感知系统的重要组成部分，推动机器人技术的发展。
📄 摘要（原文）
Contact often occurs without macroscopic surface deformation, such as during interaction with liquids, semi-liquids, or ultra-soft materials. Most existing tactile sensors rely on deformation to infer contact, making such light-contact interactions difficult to perceive robustly. To address this, we present LightTact, a visual-tactile fingertip sensor that makes contact directly visible via a deformation-independent, optics-based principle. LightTact uses an ambient-blocking optical configuration that suppresses both external light and internal illumination at non-contact regions, while transmitting only the diffuse light generated at true contacts. As a result, LightTact produces high-contrast raw images in which non-contact pixels remain near-black (mean gray value < 3) and contact pixels preserve the natural appearance of the contacting surface. Built on this, LightTact achieves accurate pixel-level contact segmentation that is robust to material properties, contact force, surface appearance, and environmental lighting. We further integrate LightTact on a robotic arm and demonstrate manipulation behaviors driven by extremely light contact, including water spreading, facial-cream dipping, and thin-film interaction. Finally, we show that LightTact's spatially aligned visual-tactile images can be directly interpreted by existing vision-language models, enabling resistor value reasoning for robotic sorting.