PP-Tac: Paper Picking Using Tactile Feedback in Dexterous Robotic Hands

📄 arXiv: 2504.16649v2 📥 PDF

作者: Pei Lin, Yuzhe Huang, Wanlin Li, Jianpeng Ma, Chenxi Xiao, Ziyuan Jiao

分类: cs.RO

发布日期: 2025-04-23 (更新: 2025-06-18)

备注: accepted by Robotics: Science and Systems(RSS) 2025 url: https://peilin-666.github.io/projects/PP-Tac/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

PP-Tac：利用触觉反馈的灵巧手进行纸张拾取

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人抓取 触觉感知 灵巧手 可变形物体 扩散模型 运动规划 摩擦力控制

📋 核心要点

  1. 现有机器人难以处理纸张和织物等薄、平、易变形物体，主要原因是缺乏对物体状态的鲁棒感知技术。
  2. PP-Tac系统利用配备高分辨率触觉传感器的灵巧手，实现实时滑移检测和摩擦力控制，并使用扩散模型生成抓取轨迹。
  3. 实验表明，PP-Tac能够有效抓取不同材质、厚度和硬度的纸张类物体，成功率达到87.5%，是该领域的一次重要尝试。

📝 摘要（中文）

本文提出了一种名为PP-Tac的机器人系统，用于拾取纸张类物体。该系统配备了具有高分辨率全向触觉传感器的多指灵巧手，能够进行实时的滑移检测和在线摩擦力控制，从而减轻滑移现象。此外，抓取运动的生成通过一个轨迹合成流程实现，该流程首先构建一个手指捏取运动的数据集，然后基于该数据集训练一个基于扩散模型的策略，以控制手-臂机器人系统。实验结果表明，PP-Tac能够有效地抓取各种材料、厚度和硬度的纸张类物体，总体成功率达到87.5%。据我们所知，这项工作是首次尝试使用触觉灵巧手抓取纸张类可变形物体。

🔬 方法详解

问题定义：现有机器人系统在处理薄、平、易变形的物体（如纸张）时面临挑战。主要痛点在于缺乏鲁棒的状态估计方法，难以应对物体外观的多样性，以及缺乏有效的抓取运动规划技术。这导致机器人难以可靠地拾取这些物体。

核心思路：PP-Tac的核心思路是利用高分辨率的触觉反馈来弥补视觉感知的不足，并结合学习的方法生成合适的抓取运动。通过触觉传感器实时检测滑移，并控制摩擦力，从而提高抓取的稳定性。使用扩散模型学习抓取策略，能够生成更自然的抓取轨迹。

技术框架：PP-Tac系统主要包含以下几个模块：1) 配备高分辨率全向触觉传感器的多指灵巧手；2) 实时滑移检测和摩擦力控制模块，利用触觉数据进行反馈控制；3) 轨迹合成流程，包括手指捏取运动数据集的构建和基于扩散模型的抓取策略训练。整体流程是，首先利用触觉传感器感知物体状态，然后通过扩散模型生成抓取轨迹，最后通过灵巧手执行抓取动作。

关键创新：PP-Tac的关键创新在于将高分辨率触觉感知与基于扩散模型的运动规划相结合，用于解决纸张类可变形物体的抓取问题。与传统的基于视觉的抓取方法相比，PP-Tac更加依赖触觉反馈，能够更好地应对物体外观的多样性和变形。使用扩散模型生成抓取轨迹，能够生成更平滑、更自然的运动，提高抓取成功率。

关键设计：触觉传感器采用了高分辨率全向设计，能够提供丰富的触觉信息。扩散模型用于学习抓取策略，其输入是物体状态和目标抓取位置，输出是灵巧手的运动轨迹。损失函数的设计需要考虑抓取的稳定性、轨迹的平滑性以及避免碰撞等因素。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PP-Tac系统在抓取纸张类物体的实验中取得了87.5%的总体成功率。该系统能够处理不同材料、厚度和硬度的纸张，表明其具有较强的鲁棒性。由于没有提供明确的基线对比，因此无法量化提升幅度。但该工作是首次尝试使用触觉灵巧手抓取纸张类可变形物体，具有重要的开创性意义。

🎯 应用场景

PP-Tac技术可应用于家庭服务机器人、自动化仓库、医疗辅助等领域。例如，在家庭环境中，机器人可以帮助整理文件、叠衣服等。在自动化仓库中，可以用于处理包装纸、标签等。在医疗领域，可以辅助医生进行手术操作，例如抓取纱布、敷料等。该研究的未来影响在于提高机器人处理可变形物体的能力，使其能够更好地适应复杂环境。

📄 摘要（原文）

Robots are increasingly envisioned as human companions, assisting with everyday tasks that often involve manipulating deformable objects. Although recent advances in robotic hardware and embodied AI have expanded their capabilities, current systems still struggle with handling thin, flat, and deformable objects such as paper and fabric. This limitation arises from the lack of suitable perception techniques for robust state estimation under diverse object appearances, as well as the absence of planning techniques for generating appropriate grasp motions. To bridge these gaps, this paper introduces PP-Tac, a robotic system for picking up paper-like objects. PP-Tac features a multi-fingered robotic hand with high-resolution omnidirectional tactile sensors \sensorname. This hardware configuration enables real-time slip detection and online frictional force control that mitigates such slips. Furthermore, grasp motion generation is achieved through a trajectory synthesis pipeline, which first constructs a dataset of finger's pinching motions. Based on this dataset, a diffusion-based policy is trained to control the hand-arm robotic system. Experiments demonstrate that PP-Tac can effectively grasp paper-like objects of varying material, thickness, and stiffness, achieving an overall success rate of 87.5\%. To our knowledge, this work is the first attempt to grasp paper-like deformable objects using a tactile dexterous hand. Our project webpage can be found at: https://peilin-666.github.io/projects/PP-Tac/