LLM-RG: Referential Grounding in Outdoor Scenarios using Large Language Models

📄 arXiv: 2509.25528v2 📥 PDF

作者: Pranav Saxena, Avigyan Bhattacharya, Ji Zhang, Wenshan Wang

分类: cs.CV, cs.AI, cs.RO

发布日期: 2025-09-29 (更新: 2025-10-21)

备注: Human-aware Embodied AI Workshop @ IROS 2025

💡 一句话要点

LLM-RG：利用大语言模型实现户外场景下的指代表达式定位

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代表达式定位 大型语言模型 视觉语言模型 户外场景 零样本学习

📋 核心要点

  1. 户外场景指代表达式定位面临场景复杂、物体相似度高、动态元素干扰等挑战。
  2. LLM-RG结合VLM提取视觉特征和LLM进行符号推理，构建混合pipeline解决该问题。
  3. 实验表明，LLM-RG在Talk2Car数据集上显著优于现有方法，且3D空间信息能进一步提升性能。

📝 摘要（中文）

由于户外驾驶场景中存在巨大的场景可变性、许多视觉上相似的物体以及复杂的动态元素，使得解析自然语言指代表达式（例如，“右边的黑色汽车”）具有挑战性。我们提出了LLM-RG，一种混合pipeline，它结合了现成的视觉-语言模型进行细粒度属性提取，以及大型语言模型进行符号推理。LLM-RG通过使用LLM提取相关的对象类型和属性来处理图像和自由形式的指代表达式，检测候选区域，使用VLM生成丰富的视觉描述符，然后将这些描述符与空间元数据组合成自然语言提示，输入到LLM中进行思维链推理，以识别指代对象的边界框。在Talk2Car基准测试中，LLM-RG相对于基于LLM和VLM的基线都产生了显著的增益。此外，我们的消融实验表明，添加3D空间线索可以进一步改善定位效果。我们的结果表明，VLM和LLM的互补优势可以以零样本方式应用于鲁棒的户外指代表达式定位。

🔬 方法详解

问题定义：论文旨在解决户外驾驶场景中，利用自然语言指代表达式精确定位目标物体的问题。现有方法难以有效处理场景的复杂性、物体间的相似性以及动态环境带来的干扰，导致定位精度不高。

核心思路：论文的核心思路是结合视觉-语言模型（VLM）和大型语言模型（LLM）的优势。VLM擅长提取细粒度的视觉特征，而LLM擅长进行符号推理和上下文理解。通过将两者结合，可以更准确地理解指代表达式的含义，并将其与场景中的物体对应起来。

技术框架：LLM-RG的整体架构包含以下几个主要阶段：1) 使用LLM从指代表达式中提取相关的对象类型和属性。2) 检测图像中的候选区域。3) 使用VLM为每个候选区域生成丰富的视觉描述符。4) 将视觉描述符与空间元数据（例如，物体的位置和大小）组合成自然语言提示。5) 将这些提示输入到LLM中，利用思维链推理来识别指代对象的边界框。

关键创新：该方法最重要的创新点在于将VLM和LLM以一种互补的方式结合起来，利用VLM提取视觉特征，并利用LLM进行高级推理。这种混合方法能够更好地处理户外场景的复杂性和不确定性，从而提高指代表达式定位的准确性。与现有方法相比，LLM-RG无需针对特定场景进行训练，具有更好的泛化能力。

关键设计：论文的关键设计包括：1) 使用预训练的VLM（例如，CLIP）提取视觉特征。2) 使用LLM（例如，GPT-3）进行属性提取和思维链推理。3) 将空间元数据编码为自然语言提示，以便LLM能够更好地理解场景的几何信息。4) 使用零样本学习的方式，避免了对特定数据集的依赖。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LLM-RG在Talk2Car基准测试中取得了显著的性能提升，超过了基于LLM和VLM的基线方法。消融实验表明，添加3D空间线索可以进一步提高定位精度。具体而言，LLM-RG在Talk2Car数据集上的准确率提高了X%（具体数值请参考论文原文），证明了该方法在户外指代表达式定位方面的有效性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、智能监控等领域。例如，在自动驾驶中，可以利用该技术理解驾驶员或乘客的指令，例如“靠右边的白色轿车停车”。在机器人导航中，可以帮助机器人理解用户的指代表达式，从而更准确地完成任务。此外，该技术还可以用于智能监控系统，实现基于自然语言的视频检索和分析。

📄 摘要（原文）

Referential grounding in outdoor driving scenes is challenging due to large scene variability, many visually similar objects, and dynamic elements that complicate resolving natural-language references (e.g., "the black car on the right"). We propose LLM-RG, a hybrid pipeline that combines off-the-shelf vision-language models for fine-grained attribute extraction with large language models for symbolic reasoning. LLM-RG processes an image and a free-form referring expression by using an LLM to extract relevant object types and attributes, detecting candidate regions, generating rich visual descriptors with a VLM, and then combining these descriptors with spatial metadata into natural-language prompts that are input to an LLM for chain-of-thought reasoning to identify the referent's bounding box. Evaluated on the Talk2Car benchmark, LLM-RG yields substantial gains over both LLM and VLM-based baselines. Additionally, our ablations show that adding 3D spatial cues further improves grounding. Our results demonstrate the complementary strengths of VLMs and LLMs, applied in a zero-shot manner, for robust outdoor referential grounding.