ThinTact:Thin Vision-Based Tactile Sensor by Lensless Imaging
作者: Jing Xu, Weihang Chen, Hongyu Qian, Dan Wu, Rui Chen
分类: cs.RO
发布日期: 2025-01-16
备注: \c{opyright} 2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
💡 一句话要点
ThinTact：基于无透镜成像的超薄视觉触觉传感器，适用于空间受限场景
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 触觉传感器 无透镜成像 实时重建 掩膜优化 机器人 触觉感知 离散余弦变换
📋 核心要点
- 传统基于透镜的视觉触觉传感器存在最小厚度限制，难以应用于空间受限的机器人场景。
- ThinTact采用无透镜成像技术，通过优化掩膜设计和重建算法，实现了超薄且具有较大传感面积的触觉传感器。
- 实验结果表明，ThinTact在纹理识别和物体操作等任务中表现良好，验证了其在实际应用中的潜力。
📝 摘要（中文）
本文提出了一种新型的无透镜视觉触觉传感器ThinTact，其传感面积超过200 mm2，厚度小于10 mm。ThinTact利用基于掩膜的无透镜成像技术将接触信息映射到CMOS信号。为了确保实时触觉感知，提出了一种基于离散余弦变换（DCT）的频域-空域联合滤波实时无透镜重建算法，该算法的计算速度远快于现有的基于优化的方法。此外，为了提高传感质量，还开发了一种基于遗传算法的掩膜优化方法和相应的系统矩阵校准算法。通过定性和定量实验评估了所提出的无透镜重建和触觉感知性能。最后，展示了ThinTact在纹理识别和富接触物体操作等多种应用中的实际应用。
🔬 方法详解
问题定义：传统视觉触觉传感器依赖透镜成像，导致传感器厚度难以降低，限制了其在狭小空间内的应用，例如灵巧手或微型机器人。现有基于优化的无透镜重建算法计算复杂度高，难以满足实时性要求。
核心思路：ThinTact的核心思路是利用无透镜成像技术，通过精心设计的掩膜将触觉信息编码到CMOS图像上，然后通过快速重建算法解码这些信息。通过优化掩膜设计和重建算法，在保证传感质量的前提下，实现传感器的超薄化和实时性。
技术框架：ThinTact的整体框架包括：1) 触觉介质层，用于将接触力转化为形变；2) 掩膜层，用于编码形变信息；3) CMOS图像传感器，用于采集编码后的图像；4) 重建算法，用于从CMOS图像中恢复触觉信息。该流程首先通过触觉介质将外部压力转化为形变，形变信息经过掩膜编码后被CMOS传感器捕获，最后通过重建算法还原出接触的位置、力度等信息。
关键创新：ThinTact的关键创新在于：1) 采用无透镜成像技术，突破了传统透镜成像的厚度限制；2) 提出了一种基于DCT的频域-空域联合滤波实时重建算法，显著提高了重建速度；3) 提出了一种基于遗传算法的掩膜优化方法，提高了传感器的传感质量。
关键设计：掩膜设计采用二值掩膜，通过遗传算法优化掩膜的结构，目标是最大化信息量和重建质量。重建算法的关键在于DCT变换和频域滤波器的设计，通过在频域进行滤波，可以有效地抑制噪声并提高重建速度。系统矩阵校准算法用于消除系统误差，提高传感器的精度。
🖼️ 关键图片
📊 实验亮点
ThinTact实现了小于10mm的厚度，传感面积超过200mm²。提出的基于DCT的重建算法比现有基于优化的方法快几个数量级，满足了实时性要求。在纹理识别任务中，ThinTact能够准确识别多种纹理。在物体操作任务中，ThinTact能够辅助机器人稳定抓取和操作物体。
🎯 应用场景
ThinTact具有广泛的应用前景，包括：1) 灵巧手触觉感知，提高机器人操作的灵活性和精确性；2) 微型机器人触觉感知，使其能够在狭小空间内进行精细操作；3) 医疗机器人触觉感知，辅助医生进行微创手术；4) 虚拟现实/增强现实触觉反馈，增强用户体验。该研究有望推动触觉感知技术在机器人、医疗、人机交互等领域的应用。
📄 摘要（原文）
Vision-based tactile sensors have drawn increasing interest in the robotics community. However, traditional lens-based designs impose minimum thickness constraints on these sensors, limiting their applicability in space-restricted settings. In this paper, we propose ThinTact, a novel lensless vision-based tactile sensor with a sensing field of over 200 mm2 and a thickness of less than 10 mm.ThinTact utilizes the mask-based lensless imaging technique to map the contact information to CMOS signals. To ensure real-time tactile sensing, we propose a real-time lensless reconstruction algorithm that leverages a frequency-spatial-domain joint filter based on discrete cosine transform (DCT). This algorithm achieves computation significantly faster than existing optimization-based methods. Additionally, to improve the sensing quality, we develop a mask optimization method based on the generic algorithm and the corresponding system matrix calibration algorithm.We evaluate the performance of our proposed lensless reconstruction and tactile sensing through qualitative and quantitative experiments. Furthermore, we demonstrate ThinTact's practical applicability in diverse applications, including texture recognition and contact-rich object manipulation. The paper will appear in the IEEE Transactions on Robotics: https://ieeexplore.ieee.org/document/10842357. Video: https://youtu.be/YrOO9BDMAHo