TiltXter: CNN-based Electro-tactile Rendering of Tilt Angle for Telemanipulation of Pasteur Pipettes
作者: Miguel Altamirano Cabrera, Jonathan Tirado, Aleksey Fedoseev, Oleg Sautenkov, Vladimir Poliakov, Pavel Kopanev, Dzmitry Tsetserukou
分类: cs.RO, cs.AI
发布日期: 2024-09-24
备注: Manuscript accepted to IEEE Telepresence 2024. arXiv admin note: text overlap with arXiv:2204.03521 by other authors
💡 一句话要点
TiltXter：基于CNN的电触觉倾斜角度渲染，用于巴斯德吸管的遥操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 遥操作 触觉反馈 电触觉 卷积神经网络 可变形物体 倾斜角度估计
📋 核心要点
- 遥操作中，可变形物体抓取时的形变导致定位困难，需要清晰的触觉反馈。
- 提出基于CNN的方法，从触觉传感器数据中识别物体倾斜角度，并生成电触觉刺激。
- 实验表明，该方法显著提高了用户对倾斜角度的识别率和遥操作的成功率。
📝 摘要（中文）
在机器人抓取过程中，可变形物体的形状会发生显著变化，导致对其对齐方式的感知模糊，从而导致机器人定位和遥操作中的误差。渲染清晰的触觉模式对于通过触觉反馈提高用户在遥操作过程中的精度和灵巧性至关重要。因此，需要研究不同的方法将传感器数据解码为触觉刺激。本文提出了一种用于塑料吸管的遥操作系统，该系统由Force Dimension Omega.7触觉接口、两个电刺激阵列和嵌入在双指Robotiq夹爪中的两个触觉传感器阵列组成。我们提出了一种基于卷积神经网络（CNN）的新方法来检测可变形物体的倾斜角度。CNN基于识别的倾斜数据生成触觉模式，以在遥操作期间向用户提供进一步的电触觉刺激。研究表明，使用CNN算法，用户对倾斜角度的识别率从使用降维数据的23.13%提高到57.9%，遥操作的成功率从使用降维数据的53.12%提高到使用CNN生成的触觉模式的92.18%。
🔬 方法详解
问题定义：遥操作可变形物体（如巴斯德吸管）时，由于物体形变，操作者难以准确感知物体的倾斜角度，导致操作精度下降。现有方法难以有效利用触觉传感器数据，无法提供清晰的触觉反馈，从而限制了遥操作的性能。
核心思路：利用卷积神经网络（CNN）学习触觉传感器数据与物体倾斜角度之间的映射关系。通过训练CNN，使其能够根据触觉传感器阵列的读数准确预测物体的倾斜角度。然后，将预测的倾斜角度转化为电触觉刺激模式，为操作者提供直观的触觉反馈。
技术框架：该遥操作系统包含以下几个主要模块：1) Force Dimension Omega.7触觉接口，用于操作者输入指令；2) Robotiq双指夹爪，用于抓取物体，夹爪上嵌入触觉传感器阵列；3) 电刺激阵列，用于向操作者提供触觉反馈；4) CNN模型，用于处理触觉传感器数据并生成电触觉刺激模式。整体流程是：操作者通过触觉接口控制夹爪抓取物体，触觉传感器阵列采集数据，CNN模型处理数据并预测倾斜角度，电刺激阵列根据预测结果向操作者提供触觉反馈。
关键创新：该论文的关键创新在于将CNN应用于触觉数据的处理，并将其用于生成电触觉刺激模式，从而为遥操作提供了一种新的触觉反馈方式。与传统方法相比，该方法能够更有效地利用触觉传感器数据，提供更清晰、更直观的触觉反馈。
关键设计：CNN模型的具体结构未知，但可以推测其输入为触觉传感器阵列的读数，输出为物体的倾斜角度。损失函数可能采用均方误差（MSE）或其他回归损失函数。电触觉刺激模式的设计需要考虑刺激强度、频率和位置等因素，以确保操作者能够清晰地感知到倾斜角度的变化。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用CNN算法后，用户对倾斜角度的识别率从使用降维数据的23.13%显著提高到57.9%。更重要的是，遥操作的成功率从使用降维数据的53.12%大幅提升到使用CNN生成的触觉模式的92.18%。这些数据有力地证明了该方法在提高遥操作性能方面的有效性。
🎯 应用场景
该研究成果可应用于医疗、工业等领域的精密遥操作任务，例如远程手术、危险环境下的物体操作等。通过提供清晰的触觉反馈，可以提高操作者的操作精度和效率，降低操作风险。未来，该技术有望与其他感知模态（如视觉、听觉）相结合，实现更智能、更自然的遥操作体验。
📄 摘要（原文）
The shape of deformable objects can change drastically during grasping by robotic grippers, causing an ambiguous perception of their alignment and hence resulting in errors in robot positioning and telemanipulation. Rendering clear tactile patterns is fundamental to increasing users' precision and dexterity through tactile haptic feedback during telemanipulation. Therefore, different methods have to be studied to decode the sensors' data into haptic stimuli. This work presents a telemanipulation system for plastic pipettes that consists of a Force Dimension Omega.7 haptic interface endowed with two electro-stimulation arrays and two tactile sensor arrays embedded in the 2-finger Robotiq gripper. We propose a novel approach based on convolutional neural networks (CNN) to detect the tilt of deformable objects. The CNN generates a tactile pattern based on recognized tilt data to render further electro-tactile stimuli provided to the user during the telemanipulation. The study has shown that using the CNN algorithm, tilt recognition by users increased from 23.13\% with the downsized data to 57.9%, and the success rate during teleoperation increased from 53.12% using the downsized data to 92.18% using the tactile patterns generated by the CNN.