Dynamic Layer Detection of Thin Materials using DenseTact Optical Tactile Sensors
作者: Ankush Kundan Dhawan, Camille Chungyoun, Karina Ting, Monroe Kennedy
分类: cs.RO
发布日期: 2024-09-15 (更新: 2025-08-11)
备注: 7 pages, 9 figures, accepted to IROS 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于DenseTact触觉传感器的动态层检测方法，用于薄材料抓取
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 触觉传感 薄材料操作 层数检测 Transformer网络 动态触觉感知
📋 核心要点
- 机器人操作薄材料面临挑战，常见问题如褶皱和错误抓取，层检测是关键的预处理步骤。
- 利用配备DenseTact 2.0触觉传感器的夹爪，通过动态摩擦运动和Transformer网络实现层数分类。
- 实验表明，该方法在布料和纸张层数检测上分别达到98.21%和81.25%的准确率，验证了有效性。
📝 摘要（中文）
薄材料的操作在日常生活中至关重要，但对机器人来说仍然是一个巨大的挑战。现有研究在材料平整和折叠等任务中取得了一些进展，但许多研究在层检测这一初步步骤上存在常见失效模式（褶皱的角落/边缘，不正确的抓取配置）。本文提出了一种新颖的方法，使用配备DenseTact 2.0光学触觉传感器的定制夹爪来分类抓取的材料层数。抓取后，夹爪执行拟人化的摩擦运动，同时收集光流、六轴力和关节状态数据。使用这些数据在基于Transformer的网络中，在分类抓取的布料层数时达到了98.21%的测试准确率，在分类抓取的纸张层数时达到了81.25%的准确率，证明了我们动态摩擦方法的有效性。评估不同的输入和模型架构突出了触觉传感器信息和Transformer模型对该任务的用处。收集了一个包含568个标记试验的综合数据集（368个用于布料，200个用于纸张），并与本文一起开源。我们的项目页面可在https://armlabstanford.github.io/dynamic-cloth-detection上找到。
🔬 方法详解
问题定义：论文旨在解决机器人抓取薄材料时，由于无法准确感知材料层数而导致的抓取失败问题。现有方法难以有效区分不同层数的薄材料，容易出现褶皱、边缘对齐错误等情况，影响后续操作的可靠性。
核心思路：论文的核心思路是利用DenseTact光学触觉传感器，通过模拟人类的摩擦动作，获取材料在抓取过程中的动态触觉信息（光流、力、关节状态），并使用Transformer网络学习这些信息与材料层数之间的关系。这种动态触觉感知方法能够更有效地捕捉材料的细微差异，从而提高层数检测的准确性。
技术框架：整体框架包括以下几个阶段：1) 使用配备DenseTact 2.0触觉传感器的定制夹爪抓取薄材料；2) 夹爪执行预设的摩擦运动，同时采集光流、六轴力和关节状态数据；3) 将采集到的数据输入到基于Transformer的网络中进行训练和预测；4) 输出预测的材料层数。
关键创新：最重要的创新点在于将动态触觉感知与Transformer网络相结合，用于解决薄材料的层数检测问题。与传统的静态触觉感知方法相比，动态摩擦运动能够提供更丰富的触觉信息，而Transformer网络则能够有效地学习这些信息中的时序关系和特征。
关键设计：论文的关键设计包括：1) DenseTact 2.0光学触觉传感器的选择，它能够提供高分辨率的触觉图像；2) 摩擦运动的轨迹设计，需要保证能够充分激发材料的触觉响应；3) Transformer网络的结构设计，需要能够有效地处理时序触觉数据；4) 损失函数的选择，需要能够有效地优化层数分类的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在布料层数检测上达到了98.21%的测试准确率，在纸张层数检测上达到了81.25%的准确率。通过对比不同输入和模型架构，验证了触觉传感器信息和Transformer模型在该任务中的有效性。开源的数据集也为相关研究提供了宝贵的资源。
🎯 应用场景
该研究成果可应用于自动化服装制造、医疗器械组装、食品包装等领域，提高机器人操作薄材料的精度和可靠性。通过准确识别材料层数，机器人可以避免抓取错误，从而提升生产效率和产品质量，并有望扩展到更复杂的薄材料操作任务。
📄 摘要（原文）
Manipulation of thin materials is critical for many everyday tasks and remains a significant challenge for robots. While existing research has made strides in tasks like material smoothing and folding, many studies struggle with common failure modes (crumpled corners/edges, incorrect grasp configurations) that a preliminary step of layer detection could solve. We present a novel method for classifying the number of grasped material layers using a custom gripper equipped with DenseTact 2.0 optical tactile sensors. After grasping, the gripper performs an anthropomorphic rubbing motion while collecting optical flow, 6-axis wrench, and joint state data. Using this data in a transformer-based network achieves a test accuracy of 98.21\% in classifying the number of grasped cloth layers, and 81.25\% accuracy in classifying layers of grasped paper, showing the effectiveness of our dynamic rubbing method. Evaluating different inputs and model architectures highlights the usefulness of tactile sensor information and a transformer model for this task. A comprehensive dataset of 568 labeled trials (368 for cloth and 200 for paper) was collected and made open-source along with this paper. Our project page is available at https://armlabstanford.github.io/dynamic-cloth-detection.