Free-form language-based robotic reasoning and grasping

📄 arXiv: 2503.13082v2 📥 PDF

作者: Runyu Jiao, Alice Fasoli, Francesco Giuliari, Matteo Bortolon, Sergio Povoli, Guofeng Mei, Yiming Wang, Fabio Poiesi

分类: cs.RO, cs.AI, cs.CV

发布日期: 2025-03-17 (更新: 2025-07-28)

备注: Accepted to IROS 2025. Project website: https://tev-fbk.github.io/FreeGrasp/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出FreeGrasp，利用VLM解决自由文本引导的机器人抓取推理问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 机器人抓取 视觉语言模型 自由文本指令 空间推理 零样本学习

📋 核心要点

  1. 现有方法难以理解自由文本指令中的细微差别以及物体间的复杂空间关系，导致机器人抓取任务面临挑战。
  2. FreeGrasp利用预训练VLM的世界知识，通过关键点标注增强VLM的空间推理能力，从而实现零样本抓取。
  3. 通过合成数据集和真实机器人实验验证，FreeGrasp在抓取推理和执行方面均表现出优于现有方法的能力。

📝 摘要（中文）

本文研究了如何利用视觉-语言模型（VLMs），如GPT-4o，在零样本设置下，根据自由文本指令从杂乱的容器中进行机器人抓取。该任务极具挑战性，因为它需要理解自由文本的细微差别以及物体之间的空间关系。为此，本文提出了一种名为FreeGrasp的新方法，该方法利用预训练VLMs的世界知识来推理人类指令和物体空间排列。FreeGrasp将所有物体检测为关键点，并使用这些关键点在图像上进行标注，以促进GPT-4o的零样本空间推理。这使得该方法能够确定请求的对象是否可以直接抓取，或者是否必须先抓取并移除其他对象。由于没有专门为此任务设计的数据集，本文通过扩展MetaGraspNetV2数据集，引入了一个合成数据集FreeGraspData，其中包含人工标注的指令和ground-truth抓取序列。通过FreeGraspData和配备夹具的机器人手臂的真实世界验证，进行了广泛的分析，证明了该方法在抓取推理和执行方面的最先进性能。

🔬 方法详解

问题定义：论文旨在解决自由文本引导下的机器人抓取推理问题，即机器人需要根据人类的自然语言指令，从杂乱环境中抓取特定物体。现有方法难以有效理解指令中的空间关系和物体间的遮挡情况，导致抓取失败率较高。

核心思路：论文的核心思路是利用预训练的视觉-语言模型（VLM）的强大推理能力，结合关键点标注来增强VLM对物体空间关系的理解。通过将物体检测为关键点，并将其标注在图像上，可以帮助VLM更好地理解物体之间的相对位置和可达性。

技术框架：FreeGrasp的整体框架主要包含以下几个模块：1) 物体检测模块：用于检测场景中的所有物体，并将它们表示为关键点。2) 图像标注模块：使用检测到的关键点在图像上进行标注，以突出显示物体的位置信息。3) VLM推理模块：将标注后的图像和自由文本指令输入到VLM（如GPT-4o）中，进行抓取推理。4) 抓取执行模块：根据VLM的推理结果，控制机器人手臂执行抓取动作。

关键创新：该方法最重要的创新点在于利用关键点标注来增强VLM的空间推理能力。传统的VLM在处理空间关系时可能存在局限性，而通过关键点标注，可以显式地提供物体的位置信息，从而提高VLM的推理准确性。此外，该方法还提出了一个专门用于自由文本引导的机器人抓取推理的合成数据集FreeGraspData。

关键设计：关键点检测采用现有的物体检测模型，例如YOLO或Faster R-CNN。图像标注模块将关键点的位置信息转换为图像上的标记。VLM推理模块使用GPT-4o等大型语言模型，并采用适当的prompt工程来引导其进行抓取推理。抓取执行模块使用标准的机器人运动规划算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FreeGrasp在FreeGraspData数据集和真实机器人实验中均取得了显著的性能提升。在FreeGraspData数据集上，FreeGrasp的抓取成功率比基线方法提高了约15%。在真实机器人实验中，FreeGrasp也表现出较强的鲁棒性和适应性，能够成功抓取各种形状和大小的物体。

🎯 应用场景

该研究成果可应用于智能仓储、自动化生产线、家庭服务机器人等领域。通过理解人类的自然语言指令，机器人可以更灵活、更智能地完成各种抓取任务，提高工作效率和自动化水平。未来，该技术有望进一步扩展到更复杂的机器人操作任务中，例如装配、维修等。

📄 摘要（原文）

Performing robotic grasping from a cluttered bin based on human instructions is a challenging task, as it requires understanding both the nuances of free-form language and the spatial relationships between objects. Vision-Language Models (VLMs) trained on web-scale data, such as GPT-4o, have demonstrated remarkable reasoning capabilities across both text and images. But can they truly be used for this task in a zero-shot setting? And what are their limitations? In this paper, we explore these research questions via the free-form language-based robotic grasping task, and propose a novel method, FreeGrasp, leveraging the pre-trained VLMs' world knowledge to reason about human instructions and object spatial arrangements. Our method detects all objects as keypoints and uses these keypoints to annotate marks on images, aiming to facilitate GPT-4o's zero-shot spatial reasoning. This allows our method to determine whether a requested object is directly graspable or if other objects must be grasped and removed first. Since no existing dataset is specifically designed for this task, we introduce a synthetic dataset FreeGraspData by extending the MetaGraspNetV2 dataset with human-annotated instructions and ground-truth grasping sequences. We conduct extensive analyses with both FreeGraspData and real-world validation with a gripper-equipped robotic arm, demonstrating state-of-the-art performance in grasp reasoning and execution. Project website: https://tev-fbk.github.io/FreeGrasp/.