AffordDexGrasp: Open-set Language-guided Dexterous Grasp with Generalizable-Instructive Affordance

📄 arXiv: 2503.07360v2 📥 PDF

作者: Yi-Lin Wei, Mu Lin, Yuhao Lin, Jian-Jian Jiang, Xiao-Ming Wu, Ling-An Zeng, Wei-Shi Zheng

分类: cs.RO

发布日期: 2025-03-10 (更新: 2025-07-30)

备注: Accepted by ICCV 2025.Project page: https://isee-laboratory.github.io/AffordDexGrasp/

💡 一句话要点

提出AffordDexGrasp框架，解决开放集语言引导的灵巧抓取问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 灵巧抓取 语言引导 开放集学习 可供性 机器人

📋 核心要点

  1. 现有数据驱动方法难以理解意图，难以对开放集中未见过的类别执行抓取。
  2. 利用可泛化且具有指导性的可供性表示，弥合高层语言语义和低层机器人动作之间的差距。
  3. 构建开放集数据集，实验表明该框架在开放集泛化方面优于现有方法。

📝 摘要（中文）

本文提出了一种新的任务：开放集语言引导的灵巧抓取，旨在使机器人能够根据人类指令抓取和操作开放集中未见过的物体。该任务的主要挑战在于高层人类语言语义和低层机器人动作之间存在巨大差距。为了解决这个问题，本文提出了Affordance Dexterous Grasp (AffordDexGrasp) 框架，其核心思想是利用一种新的、可泛化且具有指导性的可供性表示来弥合这一差距。这种可供性通过利用物体的局部结构和类别无关的语义属性，可以泛化到未见过的类别，从而有效地指导灵巧抓取的生成。基于这种可供性，该框架引入了Affordance Flow Matching (AFM) 用于生成以语言为输入的可供性，以及 Grasp Flow Matching (GFM) 用于生成以可供性为输入的灵巧抓取。为了评估该框架，作者构建了一个开放集桌面语言引导的灵巧抓取数据集。在模拟和真实世界中的大量实验表明，该框架在开放集泛化方面优于所有先前的方法。

🔬 方法详解

问题定义：论文旨在解决开放集环境下，机器人如何根据自然语言指令灵巧地抓取物体的问题。现有方法主要依赖于大量数据，难以泛化到未见过的物体类别，并且难以有效连接高层语义指令和底层机器人动作。

核心思路：论文的核心思路是引入一种新的可供性表示，该表示能够捕捉物体的局部结构和类别无关的语义属性，从而实现对未见物体的泛化。通过将语言指令转化为可供性表示，再将可供性表示转化为具体的抓取动作，从而弥合了语言语义和机器人动作之间的鸿沟。

技术框架：AffordDexGrasp框架包含两个主要模块：Affordance Flow Matching (AFM) 和 Grasp Flow Matching (GFM)。AFM模块以语言指令为输入，生成可供性表示；GFM模块以可供性表示为输入，生成灵巧抓取动作。整个流程实现了从语言到可供性再到抓取的转换。

关键创新：最重要的技术创新在于提出了可泛化且具有指导性的可供性表示。这种表示不仅能够捕捉物体的局部结构，还能够利用类别无关的语义属性，从而实现对未见物体的泛化。此外，使用Flow Matching方法进行可供性和抓取生成，提高了生成质量和效率。

关键设计：AFM和GFM模块都采用了Flow Matching网络结构，通过学习连续的向量场来实现从输入到输出的映射。损失函数的设计旨在鼓励生成的可供性表示能够准确反映物体的可抓取区域，并且生成的抓取动作能够稳定地抓取物体。具体的网络结构和参数设置在论文中有详细描述，但具体数值未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了一个新的开放集桌面语言引导的灵巧抓取数据集，并在模拟和真实世界中进行了大量实验。实验结果表明，AffordDexGrasp框架在开放集泛化方面显著优于现有方法。具体的性能提升数据未知，但论文强调了其在未见物体上的抓取成功率明显提高。

🎯 应用场景

该研究成果可应用于智能制造、家庭服务机器人等领域。例如，在智能制造中，机器人可以根据工人的语音指令抓取不同形状和大小的零件进行组装。在家庭服务中，机器人可以根据用户的指令抓取各种家居物品，完成家务任务。该研究有助于提高机器人的智能化水平和人机交互能力。

📄 摘要（原文）

Language-guided robot dexterous generation enables robots to grasp and manipulate objects based on human commands. However, previous data-driven methods are hard to understand intention and execute grasping with unseen categories in the open set. In this work, we explore a new task, Open-set Language-guided Dexterous Grasp, and find that the main challenge is the huge gap between high-level human language semantics and low-level robot actions. To solve this problem, we propose an Affordance Dexterous Grasp (AffordDexGrasp) framework, with the insight of bridging the gap with a new generalizable-instructive affordance representation. This affordance can generalize to unseen categories by leveraging the object's local structure and category-agnostic semantic attributes, thereby effectively guiding dexterous grasp generation. Built upon the affordance, our framework introduces Affordance Flow Matching (AFM) for affordance generation with language as input, and Grasp Flow Matching (GFM) for generating dexterous grasp with affordance as input. To evaluate our framework, we build an open-set table-top language-guided dexterous grasp dataset. Extensive experiments in the simulation and real worlds show that our framework surpasses all previous methods in open-set generalization.