Evetac: An Event-based Optical Tactile Sensor for Robotic Manipulation

📄 arXiv: 2312.01236v2 📥 PDF

作者: Niklas Funk, Erik Helmut, Georgia Chalvatzaki, Roberto Calandra, Jan Peters

分类: cs.RO, cs.LG

发布日期: 2023-12-02 (更新: 2024-08-15)

备注: Accepted at IEEE Transactions On Robotics. Project Website: https://sites.google.com/view/evetac

💡 一句话要点

Evetac：一种用于机器人操作的基于事件的光学触觉传感器

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 光学触觉传感器 事件相机 机器人操作 滑移检测 闭环控制

📋 核心要点

  1. 传统光学触觉传感器空间分辨率高，但时间分辨率不足，限制了其在动态操作中的应用。
  2. Evetac采用基于事件的相机，显著提升时间分辨率，并设计算法实时处理稀疏事件数据，跟踪弹性体形变。
  3. 实验表明Evetac能感知高频振动，重建剪切力，降低数据量，并用于学习滑移检测和预测模型，实现鲁棒抓取。

📝 摘要（中文）

光学触觉传感器近年来备受欢迎，它们提供高空间分辨率，但在时间分辨率方面存在不足。为了克服这一缺点，我们研究了用基于事件的相机替换RGB相机的想法，并推出了一种名为Evetac的新的基于事件的光学触觉传感器。除了硬件设计之外，我们还开发了触觉处理算法，以1000 Hz的频率在线处理其测量结果。我们设计了一种高效的算法，用于跟踪弹性体通过印刷标记产生的形变，尽管传感器的输出稀疏。基准测试实验证明了Evetac能够感知高达498 Hz的振动，重建剪切力，并显著降低数据速率（与RGB光学触觉传感器相比）。此外，Evetac的输出和标记跟踪为学习数据驱动的滑移检测和预测模型提供了有意义的特征。学习到的模型构成了鲁棒且自适应的闭环抓取控制器的基础，该控制器能够处理各种物体。我们认为，像Evetac这样快速高效的基于事件的触觉传感器对于为机器人带来类人操作能力至关重要。传感器设计已开源。

🔬 方法详解

问题定义：传统光学触觉传感器依赖RGB相机，虽然能提供高空间分辨率的触觉信息，但其时间分辨率受限于相机帧率，难以捕捉快速动态的触觉变化，例如物体滑移时的细微振动。这限制了它们在需要快速响应的机器人操作任务中的应用。现有方法难以兼顾高时空分辨率和低数据量。

核心思路：Evetac的核心思路是用基于事件的相机取代传统RGB相机。基于事件的相机只在像素亮度发生显著变化时才产生事件，因此能够以非常高的频率（通常在kHz级别）捕捉动态信息，同时产生的数据量远小于传统相机。通过高效处理这些稀疏事件数据，可以实时感知触觉信息。

技术框架：Evetac的整体框架包括：1) 硬件设计：包含一个弹性体，其表面印有标记，以及一个基于事件的相机。2) 事件数据处理：设计算法从事件流中提取有用的触觉信息，例如弹性体的形变。3) 滑移检测与预测：利用提取的特征训练数据驱动模型，用于检测和预测物体滑移。4) 闭环抓取控制：将滑移检测和预测结果反馈给抓取控制器，实现鲁棒的抓取。

关键创新：Evetac的关键创新在于将基于事件的相机引入光学触觉传感领域。与传统RGB相机相比，基于事件的相机具有更高的时域分辨率和更低的数据量，使其能够捕捉快速动态的触觉信息，并降低计算负担。此外，针对事件数据的稀疏性，论文还设计了高效的标记跟踪算法。

关键设计：Evetac的关键设计包括：1) 弹性体表面的标记设计，用于跟踪形变。2) 基于事件的相机型号选择，需要考虑灵敏度和分辨率。3) 标记跟踪算法，需要高效处理稀疏事件数据，并对噪声具有鲁棒性。4) 滑移检测和预测模型的选择和训练，需要选择合适的模型结构和损失函数，并使用大量数据进行训练。

📊 实验亮点

实验结果表明，Evetac能够感知高达498 Hz的振动，远高于传统光学触觉传感器。与RGB光学触觉传感器相比，Evetac显著降低了数据速率。此外，使用Evetac的数据训练的滑移检测和预测模型能够有效提高抓取成功率，验证了其在机器人操作中的实用性。

🎯 应用场景

Evetac在机器人操作领域具有广泛的应用前景，例如精细装配、物体抓取、表面纹理识别等。它可以帮助机器人更好地感知和响应环境变化，提高操作的精度和鲁棒性。未来，Evetac有望应用于医疗机器人、服务机器人、工业自动化等领域，实现更智能、更灵活的机器人操作。

📄 摘要（原文）

Optical tactile sensors have recently become popular. They provide high spatial resolution, but struggle to offer fine temporal resolutions. To overcome this shortcoming, we study the idea of replacing the RGB camera with an event-based camera and introduce a new event-based optical tactile sensor called Evetac. Along with hardware design, we develop touch processing algorithms to process its measurements online at 1000 Hz. We devise an efficient algorithm to track the elastomer's deformation through the imprinted markers despite the sensor's sparse output. Benchmarking experiments demonstrate Evetac's capabilities of sensing vibrations up to 498 Hz, reconstructing shear forces, and significantly reducing data rates compared to RGB optical tactile sensors. Moreover, Evetac's output and the marker tracking provide meaningful features for learning data-driven slip detection and prediction models. The learned models form the basis for a robust and adaptive closed-loop grasp controller capable of handling a wide range of objects. We believe that fast and efficient event-based tactile sensors like Evetac will be essential for bringing human-like manipulation capabilities to robotics. The sensor design is open-sourced at https://sites.google.com/view/evetac .