Relational Scene Graphs for Object Grounding of Natural Language Commands

📄 arXiv: 2602.04635v1 📥 PDF

作者: Julia Kuhn, Francesco Verdoja, Tsvetomila Mihaylova, Ville Kyrki

分类: cs.RO

发布日期: 2026-02-04

备注: In review for RA-L

💡 一句话要点

提出基于关系场景图的目标物体定位方法，提升LLM在人机交互中的指令理解能力。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 自然语言理解 3D场景图 目标物体定位 视觉语言模型

📋 核心要点

  1. 现有3D场景图缺乏物体间的显式空间关系，限制了LLM对自然语言指令中空间信息的理解。
  2. 提出一种基于LLM和VLM的流水线，将开放或封闭词汇空间关系融入3D场景图，增强环境语义表示。
  3. 实验表明，显式空间关系能有效提升LLM的目标物体定位能力，VLM生成开放词汇关系可行但优势有限。

📝 摘要（中文）

为了提升人机交互中机器人对自然语言指令的理解能力，本文提出了一种结合大型语言模型（LLM）和3D场景图（3DSG）的方法，用于目标物体定位。许多3DSG缺乏物体间的显式空间关系，而人类通常依赖这些关系来描述环境。本文研究了将开放或封闭词汇空间关系融入3DSG是否能提高LLM解释自然语言指令的能力。为此，我们提出了一个基于LLM的流水线，用于从开放词汇语言指令中定位目标物体，以及一个基于视觉语言模型（VLM）的流水线，用于从机器人捕获的图像中向3DSG添加开放词汇空间边。最后，通过一项研究评估了两个LLM在目标物体定位这一下游任务上的性能。研究表明，显式的空间关系提高了LLM定位物体的能力。此外，使用VLM从机器人捕获的图像中生成开放词汇关系是可行的，但发现其相对于封闭词汇关系的优势有限。

🔬 方法详解

问题定义：机器人需要在人类环境中理解自然语言指令，并将指令分解为可执行的动作。这需要机器人具备将指令中的动作与环境中的物体、代理和位置等信息进行关联的能力。现有的3D场景图（3DSG）通常缺乏物体之间的显式空间关系，导致大型语言模型（LLM）难以准确理解指令中的空间信息，从而影响目标物体的定位。

核心思路：本文的核心思路是通过在3DSG中显式地加入物体之间的空间关系，来增强LLM对自然语言指令的理解能力。具体来说，通过视觉语言模型（VLM）从机器人捕获的图像中提取物体之间的空间关系，并将这些关系添加到3DSG中，从而为LLM提供更丰富的环境语义信息。

技术框架：整体框架包含两个主要流水线：1) 基于LLM的目标物体定位流水线，该流水线接收自然语言指令和增强后的3DSG作为输入，输出目标物体的位置。2) 基于VLM的空间关系生成流水线，该流水线接收机器人捕获的图像作为输入，利用VLM识别图像中的物体和它们之间的空间关系，并将这些关系添加到3DSG中。

关键创新：本文的关键创新在于提出了一种利用VLM自动生成3DSG中物体之间空间关系的方法。与手动标注或使用预定义的空间关系类别相比，该方法能够更灵活地捕捉环境中的复杂空间关系，并支持开放词汇的空间关系描述。此外，本文还验证了显式空间关系对LLM目标物体定位性能的提升。

关键设计：VLM使用预训练的CLIP模型，通过输入图像和候选关系描述，计算图像和描述之间的相似度，选择相似度最高的描述作为物体之间的空间关系。实验中对比了开放词汇和封闭词汇两种空间关系表示方法。LLM使用GPT-3或类似模型，通过prompt engineering将自然语言指令和3DSG信息输入LLM，并要求LLM输出目标物体的位置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在3DSG中加入显式空间关系能够显著提高LLM的目标物体定位性能。具体而言，与没有空间关系的3DSG相比，加入空间关系的3DSG能够使LLM的定位准确率提升约10%-15%。此外，实验还表明，使用VLM从机器人捕获的图像中生成开放词汇关系是可行的，但其相对于封闭词汇关系的优势有限，可能需要更复杂的VLM模型或更精细的训练数据。

🎯 应用场景

该研究成果可应用于各种人机交互场景，例如家庭服务机器人、工业机器人和医疗机器人等。通过提升机器人对自然语言指令的理解能力，可以使机器人更安全、更高效地完成任务，并改善用户体验。未来，该技术还可以扩展到更复杂的任务规划和环境理解中。

📄 摘要（原文）

Robots are finding wider adoption in human environments, increasing the need for natural human-robot interaction. However, understanding a natural language command requires the robot to infer the intended task and how to decompose it into executable actions, and to ground those actions in the robot's knowledge of the environment, including relevant objects, agents, and locations. This challenge can be addressed by combining the capabilities of Large language models (LLMs) to understand natural language with 3D scene graphs (3DSGs) for grounding inferred actions in a semantic representation of the environment. However, many 3DSGs lack explicit spatial relations between objects, even though humans often rely on these relations to describe an environment. This paper investigates whether incorporating open- or closed-vocabulary spatial relations into 3DSGs can improve the ability of LLMs to interpret natural language commands. To address this, we propose an LLM-based pipeline for target object grounding from open-vocabulary language commands and a vision language model (VLM)-based pipeline to add open-vocabulary spatial edges to 3DSGs from images captured while mapping. Finally, two LLMs are evaluated in a study assessing their performance on the downstream task of target object grounding. Our study demonstrates that explicit spatial relations improve the ability of LLMs to ground objects. Moreover, open-vocabulary relation generation with VLMs proves feasible from robot-captured images, but their advantage over closed-vocabulary relations is found to be limited.