PGA: Personalizing Grasping Agents with Single Human-Robot Interaction

📄 arXiv: 2310.12547v2 📥 PDF

作者: Junghyun Kim, Gi-Cheon Kang, Jaein Kim, Seoyun Yang, Minjoon Jung, Byoung-Tak Zhang

分类: cs.RO, cs.CV, cs.LG

发布日期: 2023-10-19 (更新: 2024-03-19)

备注: 8 pages, under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出个性化抓取代理PGA以解决人机交互中的物体识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化抓取 人机交互 机器人学习 伪标记 标签传播 自然语言处理 智能机器人

📋 核心要点

  1. 现有的LCRG系统只能处理通用语言指令，无法有效识别用户的个人物品，限制了人机交互的自然性。
  2. 本文提出个性化抓取代理（PGA），通过单次人机交互学习用户的个人物品信息，利用未标记数据进行伪标记。
  3. PGA在各项性能指标上均超越了基线方法，并且在数据需求上显著降低，相较于传统方法的高标注成本，表现出更高的效率。

📝 摘要（中文）

语言条件下的机器人抓取（LCRG）旨在开发能够根据自然语言指令理解和抓取物体的机器人。现有LCRG系统仅支持通用语言指令，无法有效识别个人物品。为此，本文提出了GraspMine任务场景及相关数据集，旨在通过单次人机交互学习识别和抓取个人物品。我们提出的个性化抓取代理（PGA）利用用户环境中的未标记图像数据，获取个人物品信息，并通过旋转物体进行检查。基于获取的信息，PGA通过标签传播算法对未标记物体进行伪标记，从而适应抓取个人物品的模型。实验结果表明，PGA在各项指标上均优于基线方法，且与完全监督学习方法的性能相当。

🔬 方法详解

问题定义：本文旨在解决现有LCRG系统无法有效识别用户个人物品的问题，现有方法依赖大量人工标注数据，导致效率低下。

核心思路：PGA通过单次人机交互获取用户的个人物品信息，利用未标记的环境图像数据进行学习，避免了对大规模标注数据的依赖。

技术框架：PGA的整体架构包括用户展示个人物品、PGA对物体进行旋转检查、伪标记算法对未标记物体进行标注，以及基于这些信息适应抓取模型的过程。

关键创新：PGA的主要创新在于通过单次交互获取个性化信息，并利用标签传播算法对未标记数据进行伪标记，这与传统方法依赖大量标注数据的方式有本质区别。

关键设计：在设计中，PGA采用了标签传播算法来处理未标记数据，并通过旋转物体的方式来增强对物体特征的理解，确保模型能够有效适应用户的个人物品。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PGA在所有评估指标上均优于基线方法，且在与完全监督学习方法的比较中，PGA的性能表现相当，显示出在数据需求上的显著降低，提升幅度明显。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人和人机协作等场景。通过提升机器人对个人物品的识别能力，PGA能够实现更自然的人机交互，增强用户体验，未来可能在家庭助理和医疗辅助等领域发挥重要作用。

📄 摘要（原文）

Language-Conditioned Robotic Grasping (LCRG) aims to develop robots that comprehend and grasp objects based on natural language instructions. While the ability to understand personal objects like my wallet facilitates more natural interaction with human users, current LCRG systems only allow generic language instructions, e.g., the black-colored wallet next to the laptop. To this end, we introduce a task scenario GraspMine alongside a novel dataset aimed at pinpointing and grasping personal objects given personal indicators via learning from a single human-robot interaction, rather than a large labeled dataset. Our proposed method, Personalized Grasping Agent (PGA), addresses GraspMine by leveraging the unlabeled image data of the user's environment, called Reminiscence. Specifically, PGA acquires personal object information by a user presenting a personal object with its associated indicator, followed by PGA inspecting the object by rotating it. Based on the acquired information, PGA pseudo-labels objects in the Reminiscence by our proposed label propagation algorithm. Harnessing the information acquired from the interactions and the pseudo-labeled objects in the Reminiscence, PGA adapts the object grounding model to grasp personal objects. This results in significant efficiency while previous LCRG systems rely on resource-intensive human annotations -- necessitating hundreds of labeled data to learn my wallet. Moreover, PGA outperforms baseline methods across all metrics and even shows comparable performance compared to the fully-supervised method, which learns from 9k annotated data samples. We further validate PGA's real-world applicability by employing a physical robot to execute GrsapMine. Code and data are publicly available at https://github.com/JHKim-snu/PGA.