Discovering Object Attributes by Prompting Large Language Models with Perception-Action APIs

📄 arXiv: 2409.15505v2 📥 PDF

作者: Angelos Mavrogiannis, Dehao Yuan, Yiannis Aloimonos

分类: cs.RO

发布日期: 2024-09-23 (更新: 2025-03-07)

备注: ICRA 2025

💡 一句话要点

提出基于感知-动作API提示大型语言模型发现物体属性的方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 大型语言模型 主动感知 机器人控制 物体属性识别 视觉推理 感知-动作API

📋 核心要点

  1. 现有视觉语言模型难以有效推断物体的重量等非视觉属性。
  2. 利用视觉推理指导主动感知，设计感知-动作API，提示LLM生成程序主动识别属性。
  3. 实验表明，该框架在属性检测方面优于传统VLM，并在真实场景和机器人上验证了有效性。

📝 摘要（中文）

本文提出了一种通过视觉推理指导主动感知来有效检测非视觉属性的方法。现有的视觉语言模型(VLM)虽然可以将语言指令与视觉信息对齐，但在处理物体重量等非视觉属性时存在困难。为此，我们设计了一个感知-动作API，其骨干由VLM和大型语言模型(LLM)构成，并结合了一系列机器人控制函数。通过使用该API和自然语言查询提示LLM，可以生成程序来主动识别输入图像中的物体属性。在Odd-One-Out数据集上的离线测试表明，我们的框架在检测物体相对位置、大小和重量等属性方面优于传统VLM。在AI2-THOR的真实家庭场景和DJI RoboMaster EP机器人上的在线测试验证了该方法的有效性。

🔬 方法详解

问题定义：现有视觉语言模型(VLM)在将自然语言与视觉信息对齐方面取得了显著进展，但它们在理解和推理非视觉属性（如物体的重量、材质等）方面仍然存在局限性。传统的VLM主要依赖于静态的视觉输入，缺乏与环境的交互能力，因此难以准确判断物体的非视觉属性。

核心思路：本文的核心思路是通过主动感知来弥补VLM的不足。具体来说，利用视觉推理来指导机器人执行一系列感知动作，例如移动物体、触摸物体等，从而获取更多的信息，并利用这些信息来推断物体的非视觉属性。这种主动感知的方法可以有效地模拟人类的探索行为，从而提高属性识别的准确性。

技术框架：该方法的核心是一个感知-动作API，它由VLM、LLM和一组机器人控制函数组成。首先，用户输入一个自然语言查询，例如“哪个物体最重？”。然后，LLM根据查询和VLM提供的视觉信息，生成一个程序，该程序包含一系列机器人控制函数，例如“拿起物体A”、“放下物体A”等。机器人执行这些动作后，VLM会更新视觉信息，并将其反馈给LLM。LLM根据更新后的视觉信息，继续生成新的程序，直到能够确定哪个物体最重。

关键创新：该方法最重要的创新点在于将VLM和LLM结合起来，并利用机器人控制函数来实现主动感知。传统的VLM主要依赖于静态的视觉输入，而该方法可以通过主动与环境交互来获取更多的信息。此外，该方法还利用LLM的推理能力来生成程序，从而实现更加灵活和智能的感知行为。

关键设计：感知-动作API的关键设计包括：1) VLM的选择，需要选择具有较强视觉理解能力的VLM；2) LLM的选择，需要选择具有较强推理和代码生成能力的LLM；3) 机器人控制函数的定义，需要定义一组能够有效地执行感知动作的函数，例如“拿起物体”、“放下物体”、“推动物体”等。此外，还需要设计合适的提示(prompt)来引导LLM生成有效的程序。具体的损失函数和网络结构信息未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在Odd-One-Out数据集上进行了离线测试，结果表明，该方法在检测物体相对位置、大小和重量等属性方面优于传统VLM。此外，该方法还在AI2-THOR的真实家庭场景和DJI RoboMaster EP机器人上进行了在线测试，验证了该方法的有效性。具体的性能提升数据未知。

🎯 应用场景

该研究成果可应用于机器人操作、智能家居、辅助生活等领域。例如，机器人可以利用该方法来识别物体属性，从而更好地完成任务，如整理物品、准备食物等。在智能家居中，该方法可以帮助用户更好地理解和控制家电设备。在辅助生活领域，该方法可以帮助残疾人更好地与环境交互。

📄 摘要（原文）

There has been a lot of interest in grounding natural language to physical entities through visual context. While Vision Language Models (VLMs) can ground linguistic instructions to visual sensory information, they struggle with grounding non-visual attributes, like the weight of an object. Our key insight is that non-visual attribute detection can be effectively achieved by active perception guided by visual reasoning. To this end, we present a perception-action API that consists of VLMs and Large Language Models (LLMs) as backbones, together with a set of robot control functions. When prompted with this API and a natural language query, an LLM generates a program to actively identify attributes given an input image. Offline testing on the Odd-One-Out dataset demonstrates that our framework outperforms vanilla VLMs in detecting attributes like relative object location, size, and weight. Online testing in realistic household scenes on AI2-THOR and a real robot demonstration on a DJI RoboMaster EP robot highlight the efficacy of our approach.