Large-scale Deployment of Vision-based Tactile Sensors on Multi-fingered Grippers

📄 arXiv: 2408.02206v1 📥 PDF

作者: Meng Wang, Wanlin Li, Hao Liang, Boren Li, Kaspar Althoefer, Yao Su, Hangxin Liu

分类: cs.RO

发布日期: 2024-08-05

期刊: IROS 2024

💡 一句话要点

提出一种适用于多指灵巧手的视觉触觉传感器大规模部署方案

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉触觉传感器 多指灵巧手 机器人抓取 零样本校准 模块化设计

📋 核心要点

  1. 现有VBTS设计主要集中在指尖，无法满足多点接触的复杂抓取任务需求。
  2. 论文提出模块化VBTS设计，易于集成到手指指节，并采用零样本校准方法提高效率。
  3. 实验验证了配备7个VBTS的三指夹爪系统，提升了触觉感知性能，并降低了校准数据需求。

📝 摘要（中文）

基于视觉的触觉传感器(VBTSs)通过图像测量提供高空间分辨率的类人性能，展现出巨大的潜力。然而，目前的VBTS设计通常仅限于机器人夹爪的指尖，这在许多需要与物体进行多点接触的抓取和操作任务中显得不足。为了实现通过VBTS进行大规模、多表面触觉感知的最终目标，本研究(i)开发了一个具有最小延迟的同步图像采集系统，(ii)提出了一种模块化的VBTS设计，便于集成到手指指节中，以及(iii)设计了一种零样本校准方法，以提高多个VBTS同时校准的数据效率。在一个配备7个VBTS的微型三指机器人夹爪中验证了该系统，证明了通过覆盖夹爪手指和手掌的接触表面，提高了触觉感知性能。此外，我们表明，我们的VBTS设计可以无缝集成到各种末端执行器形态中，显著降低了校准的数据需求。

🔬 方法详解

问题定义：现有基于视觉的触觉传感器（VBTS）通常只部署在机器人夹爪的指尖，这限制了它们在需要多点接触的复杂操作任务中的应用。同时，大规模部署VBTS需要大量的校准数据，成本高昂。因此，如何设计一种易于集成、易于校准的VBTS，并将其大规模部署到多指灵巧手上，是一个亟待解决的问题。

核心思路：论文的核心思路是设计一种模块化的VBTS，使其能够方便地集成到手指的各个指节上，从而实现多点触觉感知。同时，采用零样本校准方法，减少校准所需的数据量，降低部署成本。通过同步图像采集系统，保证多个VBTS能够协同工作，提供一致的触觉信息。

技术框架：该系统主要包含三个模块：1) 同步图像采集系统：用于同步采集多个VBTS的图像数据，并尽量减少延迟。2) 模块化VBTS设计：VBTS采用模块化设计，方便集成到手指的各个指节上。3) 零样本校准方法：利用少量数据对多个VBTS进行同时校准，提高数据效率。整体流程是，首先通过同步图像采集系统获取多个VBTS的图像数据，然后利用零样本校准方法对VBTS进行校准，最后将校准后的数据用于触觉感知任务。

关键创新：该论文的关键创新点在于：1) 提出了模块化的VBTS设计，使其能够方便地集成到手指的各个指节上，从而实现多点触觉感知。2) 提出了零样本校准方法，减少了校准所需的数据量，降低了部署成本。3) 开发了同步图像采集系统，保证了多个VBTS能够协同工作，提供一致的触觉信息。

关键设计：模块化VBTS设计包括传感器外壳、弹性体、相机和光源。弹性体的选择需要兼顾灵敏度和耐用性。同步图像采集系统采用硬件触发方式，保证图像采集的同步性。零样本校准方法利用预训练的视觉模型提取图像特征，然后利用少量数据对特征进行校准，从而实现零样本校准。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，配备7个VBTS的三指夹爪系统在触觉感知性能方面得到了显著提升。通过覆盖夹爪手指和手掌的接触表面，系统能够更准确地感知物体的形状、大小和材质。此外，零样本校准方法显著降低了校准所需的数据量，使得VBTS能够更快地部署到新的机器人平台上。具体性能数据未知。

🎯 应用场景

该研究成果可应用于各种需要精细操作的机器人领域，如医疗机器人、工业机器人、服务机器人等。通过提供更全面、更准确的触觉信息，可以提高机器人的操作精度和安全性，使其能够更好地完成复杂任务。未来，该技术有望应用于远程操作、虚拟现实等领域，为人类提供更自然、更真实的交互体验。

📄 摘要（原文）

Vision-based Tactile Sensors (VBTSs) show significant promise in that they can leverage image measurements to provide high-spatial-resolution human-like performance. However, current VBTS designs, typically confined to the fingertips of robotic grippers, prove somewhat inadequate, as many grasping and manipulation tasks require multiple contact points with the object. With an end goal of enabling large-scale, multi-surface tactile sensing via VBTSs, our research (i) develops a synchronized image acquisition system with minimal latency,(ii) proposes a modularized VBTS design for easy integration into finger phalanges, and (iii) devises a zero-shot calibration approach to improve data efficiency in the simultaneous calibration of multiple VBTSs. In validating the system within a miniature 3-fingered robotic gripper equipped with 7 VBTSs we demonstrate improved tactile perception performance by covering the contact surfaces of both gripper fingers and palm. Additionally, we show that our VBTS design can be seamlessly integrated into various end-effector morphologies significantly reducing the data requirements for calibration.