Feelit: Combining Compliant Shape Displays with Vision-Based Tactile Sensors for Real-Time Teletaction
作者: Oscar Yu, Yu She
分类: cs.RO
发布日期: 2024-08-28
备注: IROS 2024
💡 一句话要点
提出Feelit以解决远程触觉反馈不足的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 远程触觉反馈 视觉触觉传感器 机器人控制 人机交互 低成本设计 实时3D重建 柔性机制
📋 核心要点
- 现有的远程触觉反馈解决方案在保真度和硬件占用方面存在不足，未能充分利用现代视觉触觉传感器提供的高分辨率3D数据。
- 本文提出的Feelit设备结合了基于针的形状显示和柔性机制，能够实时获取高分辨率的触觉信息，提升触觉反馈的质量。
- 通过一系列实验，Feelit在形状识别和相对重量识别方面表现出色，展示了其在远程操作中的潜在应用价值。
📝 摘要（中文）
远程触觉反馈（teletaction）是远程操作领域的重要组成部分，能够提升人机交互质量，使复杂操作成为可能。然而，现有的触觉反馈解决方案在保真度或硬件占用等方面存在不足。本文展示了一种低成本的触觉反馈设备Feelit，利用基于视觉的触觉传感器实时获取高分辨率的触觉信息，通过物理3D表面重建和剪切位移实现。Feelit结合了基于针的形状显示和柔性机制，具有24个伺服电机的阵列，提供6x4针的分辨率。实验结果表明，该设备在远程操作领域扩展了触觉反馈的能力。
🔬 方法详解
问题定义：本文旨在解决现有远程触觉反馈技术在保真度和功能上的不足，尤其是未能充分利用高分辨率3D数据的问题。
核心思路：提出的Feelit设备通过结合基于针的形状显示和柔性机制，能够实时获取和反馈高分辨率的触觉信息，从而提升用户的触觉体验。
技术框架：Feelit的整体架构包括一个24个伺服电机的针阵列，用于物理表面重建，以及一个基于视觉的触觉传感器GelSight，配合算法进行深度数据采样和标记跟踪，生成执行器命令。
关键创新：Feelit的主要创新在于其低成本设计和高效的实时3D触觉重建能力，显著提升了触觉反馈的质量，与现有方法相比，能够提供更高的分辨率和更快的响应速度。
关键设计：设备的针阵列分辨率为6x4，显示面积为15x10 mm，每个针可在200 ms内移动3 mm，提供80 N的力和1.5 um的深度分辨率，剪切位移和旋转通过柔性机制设计实现，具有1 mm的横向位移和10度的旋转能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Feelit在形状识别和相对重量识别任务中表现优异，能够实时提供高分辨率的触觉反馈，提升了用户的操作精度和效率，展示了其在远程操作中的应用潜力。
🎯 应用场景
Feelit设备在远程操作、机器人控制和虚拟现实等领域具有广泛的应用潜力。通过提供高质量的触觉反馈，能够显著提升用户的操作体验和任务完成效率，未来可能在医疗、制造和服务等行业产生重要影响。
📄 摘要（原文）
Teletaction, the transmission of tactile feedback or touch, is a crucial aspect in the field of teleoperation. High-quality teletaction feedback allows users to remotely manipulate objects and increase the quality of the human-machine interface between the operator and the robot, making complex manipulation tasks possible. Advances in the field of teletaction for teleoperation however, have yet to make full use of the high-resolution 3D data provided by modern vision-based tactile sensors. Existing solutions for teletaction lack in one or more areas of form or function, such as fidelity or hardware footprint. In this paper, we showcase our design for a low-cost teletaction device that can utilize real-time high-resolution tactile information from vision-based tactile sensors, through both physical 3D surface reconstruction and shear displacement. We present our device, the Feelit, which uses a combination of a pin-based shape display and compliant mechanisms to accomplish this task. The pin-based shape display utilizes an array of 24 servomotors with miniature Bowden cables, giving the device a resolution of 6x4 pins in a 15x10 mm display footprint. Each pin can actuate up to 3 mm in 200 ms, while providing 80 N of force and 1.5 um of depth resolution. Shear displacement and rotation is achieved using a compliant mechanism design, allowing a minimum of 1 mm displacement laterally and 10 degrees of rotation. This real-time 3D tactile reconstruction is achieved with the use of a vision-based tactile sensor, the GelSight [1], along with an algorithm that samples the depth data and marker tracking to generate actuator commands. Through a series of experiments including shape recognition and relative weight identification, we show that our device has the potential to expand teletaction capabilities in the teleoperation space.