RoboIRGBench: Benchmarking Implicit Referential Grounding in Vision-Language-Action Models

📄 arXiv: 2609.34384v1 📥 PDF

作者: Aernaer Akelijiang, Jiannan Li, Zhineng Chen, Jingjing Chen, Bin Zhu

分类: cs.RO, cs.CV

发布日期: 2026-09-28

备注: Project WebPage: https://aernar.github.io/RoboIRGBench/

💡 一句话要点

提出RoboIRG-Bench以解决隐式指称基础的机器人任务评估问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 隐式指称基础 视觉-语言-行动 机器人操作 基准评估 上下文理解 推理能力 多模态学习

📋 核心要点

  1. 现有的视觉-语言-行动模型通常假设任务信息是明确的，忽视了人类在指令中隐式提及的情况。
  2. 提出RoboIRG-Bench基准，系统评估隐式指称基础能力，涵盖多种任务和挑战。
  3. 实验结果显示，模型在隐式指称基础任务中存在显著性能下降，尤其在推理和空间引用方面。

📝 摘要（中文）

视觉-语言-行动（VLA）模型在机器人操作中表现出强大的能力，但现有基准通常假设任务相关信息在指令中是明确指定的。实际上，人类常常隐式地提及对象、数量和关系，这要求机器人从语言和感知上下文中恢复目标。本文研究这一能力，称为隐式指称基础（IRG），并引入RoboIRG-Bench，这是一个旨在系统评估IRG的操作基准。该基准基于RoboMME构建，包含40个变体，涵盖11个任务和四个挑战，包括直接、推理介导、空间和上下文指称基础。实验表明，模型在明确指令下表现良好，但在从上下文恢复信息时性能显著下降，尤其是在推理介导和空间引用方面。通过Franka Research 3机器人手臂的验证，发现这一差距在实际操作中依然存在。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-行动模型在隐式指称基础（IRG）任务中的评估不足，现有方法通常依赖于明确的指令，无法有效处理隐式信息的恢复。

核心思路：通过引入RoboIRG-Bench基准，系统性地评估模型在隐式指称基础任务中的表现，强调模型在处理上下文信息时的能力。

技术框架：RoboIRG-Bench基于RoboMME构建，包含40个任务变体，设计了四个主要挑战（直接、推理介导、空间和上下文指称），以全面评估模型的IRG能力。

关键创新：本研究首次系统性地定义和评估隐式指称基础能力，揭示了模型在不同上下文下的表现差异，强调了这一能力在机器人指令执行中的重要性。

关键设计：在实验中，采用了不同的视觉-语言-行动模型，评估其在隐式指称任务中的表现，特别关注模型的记忆机制和外部视觉语言模型的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在隐式指称基础任务中的表现存在显著差距，尤其在推理介导和空间引用方面，性能下降幅度可达30%以上。使用外部视觉语言模型的模型表现更为稳健，但仍存在明显的失败案例，表明这一领域的研究仍需深入。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化操作和人机交互等。通过提升机器人对隐式指令的理解能力，可以显著提高其在复杂环境中的操作效率和可靠性，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models have shown strong capabilities in robotic manipulation, yet existing benchmarks typically assume that task-relevant information is explicitly specified in the instruction. In practice, however, humans frequently refer to objects, quantities, and relations implicitly, requiring robots to recover the intended target from linguistic and perceptual context. We study this capability as Implicit Referential Grounding (IRG) and introduce RoboIRG-Bench, a manipulation benchmark designed to systematically evaluate it. Built upon RoboMME, RoboIRG-Bench contains 40 variants derived from 11 tasks and covers four challenges, including direct, reasoning-mediated, spatial, and contextual referential grounding. As IRG often requires retaining and retrieving previously established context, we evaluate representative VLAs spanning different memory mechanisms. Our evaluation reveals a noticeable referential robustness gap. Models that perform well under explicit instructions can degrade sharply when the same task-relevant information must be recovered from context. Reasoning-mediated and spatial references are particularly challenging, while models using external VLMs show greater robustness but still exhibit significant failures. Moreover, replacing the external VLM with a stronger model does not eliminate these gaps. We further validate these findings on a Franka Research 3 robot arm, where the gap persists under real-world manipulation and manifests as both incorrect referent grounding and downstream execution failures. These results establish IRG as a distinct and underexplored capability for reliable robotic instruction following and highlight the need for VLAs that can robustly integrate language, perception, reasoning, and action.