AllTact Fin Ray: A Compliant Robot Gripper with Omni-Directional Tactile Sensing
作者: Siwei Liang, Yixuan Guan, Jing Xu, Hongyu Qian, Xiangjun Zhang, Dan Wu, Wenbo Ding, Rui Chen
分类: cs.RO
发布日期: 2025-04-25
💡 一句话要点
AllTact Fin Ray：一种具有全向触觉传感的柔顺机器人夹爪
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人夹爪 触觉传感 柔顺机构 视觉触觉 全局形变 力估计 机器人操作
📋 核心要点
- 现有视觉触觉传感方法难以处理柔顺夹爪全局形变导致的光照变化问题。
- 该论文提出一种新颖的传感方法，通过边缘特征和空间约束重建全局形变，并动态调整参考图像。
- 实验结果表明，该夹爪设计和传感方法在接触检测、力估计、物体抓取和精确操作方面表现出色。
📝 摘要（中文）
本文提出了一种名为AllTact Fin Ray的新型柔顺夹爪设计，该夹爪具有全向和局部触觉传感能力，旨在提升机器人抓取和操作性能。夹爪的指体采用透明弹性硅胶一体成型，位于指体底部的摄像头用于捕捉整个指体和接触面的形变。由于自适应结构的全局形变，现有假设恒定光照的基于视觉的触觉传感方法不再适用。为此，我们提出了一种新的传感方法，首先利用边缘特征和空间约束从图像中重建全局形变，然后根据相对于动态检索的参考图像的亮度差异计算详细的接触几何形状。大量的实验验证了我们提出的夹爪设计和传感方法在接触检测、力估计、物体抓取和精确操作方面的有效性。
🔬 方法详解
问题定义：现有的基于视觉的触觉传感方法通常假设光照条件恒定，这在刚性传感器上是合理的。然而，当应用于具有较大全局形变的柔顺夹爪时，光照变化显著，导致现有方法失效。因此，需要一种能够适应全局形变和光照变化的触觉传感方法。
核心思路：该论文的核心思路是将全局形变重建与局部接触几何估计相结合。首先，通过分析夹爪的全局形变来校正光照变化的影响。然后，利用校正后的图像信息来估计接触面的详细几何形状和力。这种方法能够有效地分离全局形变带来的光照影响和局部接触信息。
技术框架：该方法主要包含两个阶段：全局形变重建和局部接触几何估计。在全局形变重建阶段，利用边缘检测和空间约束从图像中提取夹爪的形变信息。然后，使用这些信息来生成一个动态参考图像，该图像反映了夹爪的当前形变状态。在局部接触几何估计阶段，将当前图像与动态参考图像进行比较，通过分析亮度差异来估计接触面的几何形状和力。
关键创新：该论文的关键创新在于提出了一种动态参考图像的概念，并将其用于校正全局形变带来的光照变化。与传统的静态参考图像相比，动态参考图像能够更好地适应夹爪的形变，从而提高触觉传感的准确性。此外，该方法还结合了边缘特征和空间约束，提高了全局形变重建的鲁棒性。
关键设计：夹爪的指体采用透明弹性硅胶一体成型，以便于观察内部形变。摄像头位于指体底部，可以捕捉整个指体和接触面的图像。全局形变重建阶段使用了Canny边缘检测器提取边缘特征，并利用空间约束来提高重建的准确性。局部接触几何估计阶段使用了亮度差异作为接触信息的指标，并通过实验确定了合适的阈值。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该夹爪设计和传感方法在接触检测方面具有较高的准确率，能够有效地检测到不同方向的接触。在力估计方面，该方法能够实现较为精确的力估计，误差在可接受范围内。此外，该夹爪还成功地完成了多个物体抓取和精确操作任务，例如：抓取不同形状的物体、将物体插入孔中等，验证了其在实际应用中的可行性。
🎯 应用场景
该研究成果可应用于各种需要灵巧操作的机器人应用中，例如：精密装配、医疗手术、食品处理等。具有全向触觉传感的柔顺夹爪能够提高机器人与环境的交互能力，使其能够更好地适应不同的物体形状和操作任务。此外，该技术还有潜力应用于虚拟现实和人机交互领域，为用户提供更真实的触觉反馈。
📄 摘要（原文）
Tactile sensing plays a crucial role in robot grasping and manipulation by providing essential contact information between the robot and the environment. In this paper, we present AllTact Fin Ray, a novel compliant gripper design with omni-directional and local tactile sensing capabilities. The finger body is unibody-casted using transparent elastic silicone, and a camera positioned at the base of the finger captures the deformation of the whole body and the contact face. Due to the global deformation of the adaptive structure, existing vision-based tactile sensing approaches that assume constant illumination are no longer applicable. To address this, we propose a novel sensing method where the global deformation is first reconstructed from the image using edge features and spatial constraints. Then, detailed contact geometry is computed from the brightness difference against a dynamically retrieved reference image. Extensive experiments validate the effectiveness of our proposed gripper design and sensing method in contact detection, force estimation, object grasping, and precise manipulation.