Dexterous grasp data augmentation based on grasp synthesis with fingertip workspace cloud and contact-aware sampling

📄 arXiv: 2603.16609v1 📥 PDF

作者: Liqi Wu, Haoyu Jia, Kento Kawaharazuka, Hirokazu Ishida, Kei Okada

分类: cs.RO

发布日期: 2026-03-17

备注: Accepted to Advanced Robotics, GitHub: https://github.com/W567/FSG, YouTube: https://youtu.be/rFCDl9SxSSA

DOI: 10.1080/01691864.2025.2524553

💡 一句话要点

提出基于指尖工作空间云和接触感知采样的灵巧抓取数据增强方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion)

关键词: 机器人抓取 数据增强 指尖工作空间 接触感知采样 遥操作 AutoWS FSG

📋 核心要点

  1. 数据驱动的机器人抓取方法依赖大量训练数据，但高效生成抓取数据集仍然是瓶颈，尤其对于结构各异的机器人手。
  2. 论文提出FSG抓取生成器，结合遥操作演示，通过AutoWS自动生成指尖工作空间云，嵌入手部结构信息，无需逆运动学计算。
  3. 实验表明，该方法在抓取YCB对象时，速度和有效姿态生成率显著优于现有方法，并能生成类似人类的抓取姿态。

📝 摘要（中文）

机器人抓取是机器人应用中一个基础且关键的组成部分，有效的抓取通常是各种任务的起点。随着神经网络的快速发展，机器人抓取的数据驱动方法已成为主流。然而，高效地生成用于训练的抓取数据集仍然是一个瓶颈。由于机器人手的结构多样，使得通用抓取生成方法的设计更加复杂。本文提出了一个基于遥操作的框架，用于收集少量抓取姿态演示，并使用FSG（一种基于指尖接触感知采样的抓取生成器）进行增强。基于演示的抓取姿态，我们提出了AutoWS，它可以自动生成机器人指尖的结构化工作空间云，将手部结构信息直接嵌入到云中，从而消除了逆运动学计算的需要。在抓取YCB对象的实验表明，我们的方法在速度和有效姿态生成率方面都显著优于现有方法。我们的框架能够为具有任意结构的手实时生成抓取姿态，并且在与演示结合使用时，能够生成类似人类的抓取姿态，为数据驱动的抓取训练提供了一种高效且鲁棒的数据增强工具。

🔬 方法详解

问题定义：现有数据驱动的机器人抓取方法需要大量的训练数据，而高效生成这些数据是一个挑战。特别是对于具有不同结构的机器人手，设计通用的抓取生成方法变得更加困难。现有的方法可能需要复杂的逆运动学计算，或者无法很好地泛化到新的手部结构。

核心思路：论文的核心思路是利用少量的人工遥操作演示作为种子，然后通过提出的FSG（Fingertip-contact-aware Sampling-based Grasp generator）进行数据增强。AutoWS自动生成指尖工作空间云，将手部结构信息直接嵌入到云中，从而避免了复杂的逆运动学计算，提高了生成效率和泛化能力。

技术框架：整体框架包括三个主要步骤：1) 通过遥操作收集少量抓取姿态演示；2) 使用AutoWS自动生成指尖工作空间云，该云包含了手部结构信息；3) 使用FSG，基于指尖工作空间云和接触感知采样，生成大量的抓取姿态，从而实现数据增强。FSG利用指尖工作空间云来约束采样空间，并结合接触感知策略来选择有效的抓取姿态。

关键创新：最重要的技术创新点在于AutoWS自动生成指尖工作空间云，它将手部结构信息直接嵌入到云中，消除了对逆运动学计算的依赖。这使得该方法能够快速适应不同的手部结构，并生成高质量的抓取姿态。此外，FSG中的接触感知采样策略能够有效地选择有效的抓取姿态，进一步提高了数据增强的质量。

关键设计：AutoWS通过分析演示数据，自动确定指尖的工作空间范围，并生成结构化的点云。FSG使用该点云作为采样空间，并结合接触力模型来评估抓取姿态的质量。具体的损失函数和网络结构（如果使用）在论文中应该有更详细的描述，但摘要中没有提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在抓取YCB对象时，速度和有效姿态生成率显著优于现有方法。具体的数据和对比基线需要在论文中查找，但摘要强调了在速度和有效性方面的显著提升。该方法能够生成类似人类的抓取姿态，这表明其具有良好的泛化能力和实用性。

🎯 应用场景

该研究成果可广泛应用于机器人抓取领域，尤其是在需要快速适应不同物体和手部结构的场景中。例如，在工业自动化中，机器人可以快速学习抓取新的零件；在家庭服务机器人中，可以更好地处理各种日常物品。此外，该方法还可以用于生成高质量的抓取数据集，从而推动数据驱动的机器人抓取技术的发展。

📄 摘要（原文）

Robotic grasping is a fundamental yet crucial component of robotic applications, as effective grasping often serves as the starting point for various tasks. With the rapid advancement of neural networks, data-driven approaches for robotic grasping have become mainstream. However, efficiently generating grasp datasets for training remains a bottleneck. This is compounded by the diverse structures of robotic hands, making the design of generalizable grasp generation methods even more complex. In this work, we propose a teleoperation-based framework to collect a small set of grasp pose demonstrations, which are augmented using FSG--a Fingertip-contact-aware Sampling-based Grasp generator. Based on the demonstrated grasp poses, we propose AutoWS, which automatically generates structured workspace clouds of robotic fingertips, embedding the hand structure information directly into the clouds to eliminate the need for inverse kinematics calculations. Experiments on grasping the YCB objects show that our method significantly outperforms existing approaches in both speed and valid pose generation rate. Our framework enables real-time grasp generation for hands with arbitrary structures and produces human-like grasps when combined with demonstrations, providing an efficient and robust data augmentation tool for data-driven grasp training.