AgentVQA: A Unified Benchmark for Agentic Visual Understanding

📄 arXiv: 2610.31494v1 📥 PDF

作者: Advait Gupta, Sachin Konan, Tom Yin, Gabriel Sarch, Zhuang Liu

分类: cs.CV

发布日期: 2026-10-22

备注: Project page: https://zlab-princeton.github.io/AgentVQA

💡 一句话要点

提出AgentVQA以解决代理视觉理解评估不足问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting)

关键词: 视觉语言模型 代理环境 离线评估 基准构建 多领域比较 真实场景 模型性能评估

📋 核心要点

  1. 现有的视觉语言模型在代理环境中的表现尚未得到充分理解，且在线评估方法难以扩展。
  2. 本文提出AgentVQA，通过手动选择1000个真实代理示例，构建了一个可靠的离线评估基准。
  3. 在22个评估模型中，最佳模型的准确率仅为58.5%，错误主要源于对视觉状态的理解不足。

📝 摘要（中文）

视觉语言模型（VLMs）在多种任务中表现出色，但在代理环境中的性能仍不够明确。现有的在线评估方法成本高且难以扩展，离线视觉问答（VQA）基准的不足限制了代理领域的比较。为此，本文提出了AgentVQA，一个针对五个代理领域（网络代理、机器人、第一人称视频、游戏和空间规划）的离线基准，手动挑选了1000个真实世界的代理示例，确保评估的可靠性。实验结果显示，最佳模型的准确率仅为58.5%，主要错误源于对当前视觉状态的定位和理解不足，而非任务误解。

🔬 方法详解

问题定义：本文旨在解决现有视觉语言模型在代理环境中评估不足的问题，现有的在线评估方法成本高且难以扩展，离线基准缺乏一致性和全面性。

核心思路：通过构建AgentVQA基准，手动挑选真实世界的代理示例，以实现更可靠的离线评估，确保模型在多种代理场景中的表现能够得到有效比较。

技术框架：AgentVQA基准涵盖五个代理领域，包含1000个示例，评估流程包括数据选择、适应性调整和模型性能评估，确保评估的真实性和可靠性。

关键创新：最重要的创新在于构建了一个统一的离线评估基准，能够在多个代理领域中进行有效比较，填补了现有基准的碎片化问题。

关键设计：在数据选择过程中，确保了示例的多样性和挑战性，采用了适应性调整策略，以便于模型在真实场景中的表现能够得到准确反映。评估过程中还考虑了视觉状态的动态变化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在22个评估模型中，最佳模型的准确率仅为58.5%，显示出当前模型在理解和维护视觉状态方面的局限性。实验结果表明，错误主要源于对视觉元素的定位和运动理解不足，而非任务逻辑推理的错误。

🎯 应用场景

AgentVQA的潜在应用领域包括机器人控制、游戏AI、虚拟助手等，能够为这些领域中的视觉语言模型提供标准化的评估工具，促进模型的优化与发展。未来，AgentVQA可能成为代理智能系统研究的重要基准，推动相关技术的进步与应用。

📄 摘要（原文）

Vision-language models (VLMs) can perform a broad range of tasks across diverse settings, yet their performance in agentic contexts remains poorly understood. Although online evaluations in simulators and real-world environments are essential for measuring interactive agent performance, they are costly and challenging to scale. Complementary offline VQA benchmarks can enable faster and more reliable comparisons across agentic domains, yet existing benchmarks remain limited and fragmented. To address this gap, we introduce AgentVQA, an offline benchmark for evaluating VLMs on realistic agentic scenarios across five agent domains: Web Agents, Robotics, Egocentric Videos, Games, and Spatial Planning. We build AgentVQA by manually selecting 1000 challenging, real-world agent examples from 23 source datasets and adapting them for reliable offline evaluation. The resulting benchmark preserves realistic scenarios from interactive environments across diverse domains, and its model rankings track those from corresponding online evaluations. Across the 22 evaluated models, the best achieves only 58.5% accuracy. Our cross-domain analysis shows that errors are driven primarily by failures to ground and maintain accurate representations of the current and evolving visual state, including localizing relevant UI elements, interpreting motion, tracking state changes over time, and inferring 3D spatial relationships, rather than by task misinterpretation or downstream logical reasoning.