VET: A Visual-Electronic Tactile System for Immersive Human-Machine Interaction

📄 arXiv: 2503.23440v2 📥 PDF

作者: Cong Zhang, Yisheng Yang, Shilong Mu, Chuqiao Lyu, Shoujie Li, Xinyue Chai, Wenbo Ding

分类: cs.RO

发布日期: 2025-03-30 (更新: 2025-04-01)

💡 一句话要点

VET：用于沉浸式人机交互的视觉-电子触觉系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉触觉传感器 电刺激反馈 人机交互 双向触觉通信 虚拟现实 机器人遥操作 丝网印刷

📋 核心要点

  1. 现有触觉交互系统难以在单一界面上实现高维度触觉输入输出，限制了人机交互的沉浸感。
  2. VET系统通过集成视觉触觉传感器（VBTS）和电刺激反馈，实现了双向触觉通信，提升交互体验。
  3. 实验表明，VET系统在交互式游戏和机器人手臂遥操作等应用中具有潜力，验证了其有效性。

📝 摘要（中文）

为了在人机交互中实现更深层次的沉浸感，在单一界面上实现更高维度的触觉输入和输出已成为关键的研究重点。本研究介绍了一种视觉-电子触觉（VET）系统，该系统建立在基于视觉的触觉传感器（VBTS）的基础上，并集成了电刺激反馈，以实现双向触觉通信。我们提出并实现了一个系统框架，该框架使用丝网印刷制备工艺将电刺激薄膜与VBTS无缝集成，消除了传统方法的干扰。VBTS通过视觉触觉信号捕获多维输入，而电刺激反馈直接刺激神经通路，防止干扰视觉触觉信息。通过手指电刺激敏感区实验以及在交互式游戏和机器人手臂遥操作中的应用，证明了VET系统的潜力。该系统为双向触觉交互及其更广泛的应用开辟了新的道路。

🔬 方法详解

问题定义：现有的人机交互系统在触觉反馈方面存在局限性，难以同时实现高精度的触觉输入感知和多样化的触觉输出刺激。传统的触觉反馈方法可能会干扰视觉信息，影响用户体验。因此，需要一种能够提供高维度、无干扰的双向触觉交互系统。

核心思路：VET系统的核心思路是结合视觉触觉传感和电刺激技术，利用VBTS获取多维触觉输入，并通过电刺激直接作用于神经通路，实现触觉反馈。这种设计避免了触觉输出对视觉输入的干扰，从而提升了交互的真实感和沉浸感。

技术框架：VET系统主要包含两个核心模块：视觉触觉传感器（VBTS）和电刺激反馈模块。VBTS负责捕捉用户与界面的接触信息，将其转化为多维的视觉触觉信号。电刺激反馈模块则通过电刺激薄膜，根据接收到的信号，对用户的神经通路进行刺激，产生触觉感受。这两个模块通过一个系统框架无缝集成，实现双向触觉通信。

关键创新：VET系统的关键创新在于将VBTS和电刺激反馈集成到一个系统中，实现了无干扰的双向触觉交互。传统的触觉反馈方法可能会影响视觉信息，而VET系统通过电刺激直接作用于神经通路，避免了这种干扰。此外，采用丝网印刷制备工艺将电刺激薄膜与VBTS集成，简化了系统结构，提高了集成度。

关键设计：电刺激反馈模块的关键设计在于电刺激参数的设置，包括电流强度、频率和脉冲宽度等。这些参数需要根据用户的个体差异进行调整，以达到最佳的触觉反馈效果。此外，VBTS的视觉算法也需要进行优化，以提高触觉信息的感知精度和速度。论文中可能涉及手指电刺激敏感区实验，以确定合适的电刺激参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了VET系统的有效性。手指电刺激敏感区实验确定了合适的电刺激参数范围。在交互式游戏和机器人手臂遥操作应用中，用户能够通过VET系统感受到真实的触觉反馈，提高了交互体验和操作精度。虽然论文中没有给出具体的性能数据，但实验结果表明VET系统在双向触觉交互方面具有显著的优势。

🎯 应用场景

VET系统在多个领域具有广泛的应用前景，包括虚拟现实游戏、远程机器人操作、医疗康复和教育培训等。在虚拟现实游戏中，VET系统可以提供更真实的触觉反馈，增强游戏的沉浸感。在远程机器人操作中，操作员可以通过VET系统感受到机器人所接触物体的质地和形状，提高操作的精确性和效率。在医疗康复领域，VET系统可以用于帮助患者恢复触觉功能。在教育培训领域，VET系统可以用于模拟各种操作场景，提高培训效果。

📄 摘要（原文）

In the pursuit of deeper immersion in human-machine interaction, achieving higher-dimensional tactile input and output on a single interface has become a key research focus. This study introduces the Visual-Electronic Tactile (VET) System, which builds upon vision-based tactile sensors (VBTS) and integrates electrical stimulation feedback to enable bidirectional tactile communication. We propose and implement a system framework that seamlessly integrates an electrical stimulation film with VBTS using a screen-printing preparation process, eliminating interference from traditional methods. While VBTS captures multi-dimensional input through visuotactile signals, electrical stimulation feedback directly stimulates neural pathways, preventing interference with visuotactile information. The potential of the VET system is demonstrated through experiments on finger electrical stimulation sensitivity zones, as well as applications in interactive gaming and robotic arm teleoperation. This system paves the way for new advancements in bidirectional tactile interaction and its broader applications.