TransForce: Transferable Force Prediction for Vision-based Tactile Sensors with Sequential Image Translation
作者: Zhuo Chen, Ni Ou, Xuyang Zhang, Shan Luo
分类: cs.RO
发布日期: 2024-09-15 (更新: 2025-02-26)
备注: Accepted to ICRA2025
💡 一句话要点
TransForce：基于序列图像转换的视觉触觉传感器可迁移力预测
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉触觉传感器 力预测 迁移学习 图像转换 循环神经网络
📋 核心要点
- 现有视觉触觉传感器力感知依赖大量配对数据，成本高昂，难以快速适配新传感器。
- TransForce通过图像转换，将源域触觉图像迁移到目标域，并利用循环模型提升力预测精度。
- 实验表明，TransForce在三个轴向上均显著降低了力预测误差，验证了其有效性。
📝 摘要（中文）
基于视觉的触觉传感器(VBTSs)提供高分辨率的触觉图像，这对于机器人手部操作至关重要。然而，由于获取配对的触觉图像和力标签的成本高昂且耗时，VBTSs中的力感应尚未得到充分利用。本研究提出了一种可迁移的力预测模型TransForce，旨在利用已收集的图像-力配对数据来适应新的传感器，解决不同光照颜色和标记模式带来的影响，同时提高预测力的准确性，尤其是在剪切方向上。我们的模型有效地实现了触觉图像从源域到目标域的转换，确保生成的触觉图像反映了新传感器的光照颜色和标记模式，同时准确对齐了现有传感器中观察到的弹性体变形，这有利于新传感器的力预测。因此，使用生成的序列触觉图像和现有的力标签训练的循环力预测模型被用于估计新传感器更高精度的力，在x轴、y轴和z轴上的平均误差分别为0.69N (5.8%满量程)、0.70N (5.8%)和1.11N (6.9%)，优于使用单张图像训练的模型。实验结果还表明，纯标记模态比RGB模态更有助于提高剪切方向的力精度，而RGB模态在法向方向表现更好。
🔬 方法详解
问题定义：论文旨在解决视觉触觉传感器（VBTS）力预测中，由于传感器标定成本高昂，难以快速迁移到新的传感器上的问题。现有方法需要为每个新的传感器收集大量的图像-力配对数据，这非常耗时且成本高。此外，不同传感器的光照条件、标记模式等差异也会影响力预测的准确性。
核心思路：论文的核心思路是利用图像转换技术，将已有的源域传感器的触觉图像转换成目标域传感器的触觉图像，从而避免为新的传感器重新收集大量数据。通过图像转换，可以使模型学习到不同传感器之间的不变特征，从而提高力预测的泛化能力。此外，论文还利用循环神经网络（RNN）处理序列图像，以提高力预测的精度。
技术框架：TransForce模型主要包含两个阶段：图像转换阶段和力预测阶段。在图像转换阶段，使用图像转换模型将源域的触觉图像转换成目标域的触觉图像。在力预测阶段，使用循环神经网络（RNN）处理转换后的序列触觉图像，并预测相应的力。整个框架可以端到端训练，以优化图像转换和力预测的性能。
关键创新：论文的关键创新在于提出了一种可迁移的力预测模型，该模型能够利用图像转换技术将已有的数据迁移到新的传感器上，从而避免了为每个新的传感器重新收集大量数据的需求。此外，论文还发现，纯标记模态比RGB模态更有助于提高剪切方向的力精度，而RGB模态在法向方向表现更好，这为传感器设计和数据处理提供了新的思路。
关键设计：图像转换模型使用了生成对抗网络（GAN）结构，包括一个生成器和一个判别器。生成器的目标是将源域的触觉图像转换成目标域的触觉图像，判别器的目标是区分生成的图像和真实的图像。力预测模型使用了循环神经网络（RNN），例如LSTM或GRU，以处理序列触觉图像。损失函数包括图像转换损失和力预测损失。图像转换损失用于优化图像转换模型的性能，力预测损失用于优化力预测模型的性能。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
TransForce模型在新的视觉触觉传感器上实现了显著的力预测精度提升。实验结果表明，该模型在x轴、y轴和z轴上的平均误差分别为0.69N (5.8%满量程)、0.70N (5.8%)和1.11N (6.9%)，优于使用单张图像训练的模型。此外，实验还验证了纯标记模态在剪切方向和RGB模态在法向方向上的优势。
🎯 应用场景
TransForce技术可广泛应用于机器人灵巧操作、医疗手术机器人、虚拟现实触觉反馈等领域。通过降低视觉触觉传感器的标定成本，可以加速机器人在复杂环境中的应用，提升人机交互的自然性和精确性。该技术还有助于开发更智能、更灵活的机器人系统，使其能够更好地适应不同的任务和环境。
📄 摘要（原文）
Vision-based tactile sensors (VBTSs) provide high-resolution tactile images crucial for robot in-hand manipulation. However, force sensing in VBTSs is underutilized due to the costly and time-intensive process of acquiring paired tactile images and force labels. In this study, we introduce a transferable force prediction model, TransForce, designed to leverage collected image-force paired data for new sensors under varying illumination colors and marker patterns while improving the accuracy of predicted forces, especially in the shear direction. Our model effectively achieves translation of tactile images from the source domain to the target domain, ensuring that the generated tactile images reflect the illumination colors and marker patterns of the new sensors while accurately aligning the elastomer deformation observed in existing sensors, which is beneficial to force prediction of new sensors. As such, a recurrent force prediction model trained with generated sequential tactile images and existing force labels is employed to estimate higher-accuracy forces for new sensors with lowest average errors of 0.69N (5.8\% in full work range) in $x$-axis, 0.70N (5.8\%) in $y$-axis, and 1.11N (6.9\%) in $z$-axis compared with models trained with single images. The experimental results also reveal that pure marker modality is more helpful than the RGB modality in improving the accuracy of force in the shear direction, while the RGB modality show better performance in the normal direction.