DTactive: A Vision-Based Tactile Sensor with Active Surface

📄 arXiv: 2410.08337v1 📥 PDF

作者: Jikai Xu, Lei Wu, Changyi Lin, Ding Zhao, Huazhe Xu

分类: cs.RO

发布日期: 2024-10-10

备注: Submitted to ICRA 2025

💡 一句话要点

DTactive：一种具有主动表面的视觉触觉传感器，用于灵巧手内操作。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉触觉传感器 主动表面 手内操作 机器人灵巧操作 角度轨迹控制

📋 核心要点

  1. 现有视觉触觉传感器在复杂手内操作中存在局限性，难以同时实现精确感知和灵巧操作。
  2. DTactive通过集成主动表面和机械传动机构，实现了触觉感知和手内操作的同步进行。
  3. 实验证明，DTactive在物体滚动操作中实现了精确的角度轨迹控制，均方根误差小于19°。

📝 摘要（中文）

本文提出了一种新型的具有主动表面的视觉触觉传感器DTactive。该传感器继承并改进了DTact的触觉3D形状重建方法，并集成了一个机械传动机构，从而实现了传感器表面的移动性。得益于这种设计，该传感器能够同时进行触觉感知和手内操作。利用传感器的高分辨率触觉图像和来自传动机构的磁编码器数据，我们提出了一种基于学习的方法，以实现手内操作期间的精确角度轨迹控制。实验结果表明，在各种物体上成功实现了[-180°,180°]范围内的精确滚动操作，在九个训练对象上的期望角度轨迹和实际角度轨迹之间的均方根误差小于12°，在三个新对象上的误差小于19°。结果表明，DTactive在有效性、鲁棒性和精度方面具有手内物体操作的潜力。

🔬 方法详解

问题定义：现有视觉触觉传感器在手内操作中，往往难以兼顾精确的触觉感知和灵活的操作能力。静态的触觉表面限制了操作的范围和灵活性，而缺乏主动控制的传感器难以实现精确的运动轨迹。

核心思路：DTactive的核心思路是将触觉感知与主动表面运动相结合，通过机械传动机构控制触觉表面的运动，并利用视觉触觉信息和编码器数据实现精确的运动控制。这种设计使得传感器既能感知物体的形状和姿态，又能通过主动运动实现手内操作。

技术框架：DTactive的整体框架包括：1）视觉触觉传感器，用于获取高分辨率的触觉图像；2）机械传动机构，用于控制触觉表面的运动；3）磁编码器，用于测量触觉表面的角度；4）基于学习的控制方法，用于实现精确的角度轨迹控制。该方法利用触觉图像和编码器数据，训练一个模型来预测所需的控制信号。

关键创新：DTactive的关键创新在于其主动表面设计和基于学习的控制方法。主动表面设计使得传感器能够进行手内操作，而基于学习的控制方法则能够实现精确的运动控制。与传统的静态触觉传感器相比，DTactive具有更高的灵活性和操作能力。与传统的基于模型的控制方法相比，基于学习的方法能够更好地处理复杂的触觉交互。

关键设计：在机械传动机构方面，采用了精密的齿轮和连杆结构，以实现触觉表面的平稳运动。在基于学习的控制方法方面，使用了卷积神经网络（CNN）来提取触觉图像的特征，并使用循环神经网络（RNN）来建模时间序列数据。损失函数包括角度误差和角速度误差，以确保运动轨迹的精确性和平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DTactive在物体滚动操作中实现了精确的角度轨迹控制。在九个训练对象上，期望角度轨迹和实际角度轨迹之间的均方根误差小于12°。在三个新对象上，均方根误差小于19°。这些结果表明，DTactive具有良好的泛化能力和鲁棒性。

🎯 应用场景

DTactive可应用于机器人灵巧操作、医疗手术机器人、虚拟现实交互等领域。在机器人灵巧操作中，可用于实现物体抓取、旋转、装配等复杂任务。在医疗手术机器人中，可用于实现微创手术操作，提高手术精度和安全性。在虚拟现实交互中，可用于提供更真实的触觉反馈，增强用户体验。

📄 摘要（原文）

The development of vision-based tactile sensors has significantly enhanced robots' perception and manipulation capabilities, especially for tasks requiring contact-rich interactions with objects. In this work, we present DTactive, a novel vision-based tactile sensor with active surfaces. DTactive inherits and modifies the tactile 3D shape reconstruction method of DTact while integrating a mechanical transmission mechanism that facilitates the mobility of its surface. Thanks to this design, the sensor is capable of simultaneously performing tactile perception and in-hand manipulation with surface movement. Leveraging the high-resolution tactile images from the sensor and the magnetic encoder data from the transmission mechanism, we propose a learning-based method to enable precise angular trajectory control during in-hand manipulation. In our experiments, we successfully achieved accurate rolling manipulation within the range of [ -180°,180° ] on various objects, with the root mean square error between the desired and actual angular trajectories being less than 12° on nine trained objects and less than 19° on three novel objects. The results demonstrate the potential of DTactive for in-hand object manipulation in terms of effectiveness, robustness and precision.