Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena

📄 arXiv: 2610.00854v1 📥 PDF

作者: Haojian Huang, Pukun Zhao, Zexi Li, Yehang Zhang, Yangkai Wei, Wenqian Li, Han Yang, Kaiwen Zhou, Ying-Cong Chen, Yinchuan Li

分类: cs.RO

发布日期: 2026-10-01

备注: 40 pages, including appendices. Project page: https://embodied-agent-arena.github.io/embodied-agent-arena/

💡 一句话要点

提出Embodied Agent Arena以评估前沿视觉语言模型的机器人通用性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 机器人通用性 几何估计 空间推理 任务规划 Embodied Agent Arena 多模态评估

📋 核心要点

  1. 现有的视觉语言模型在执行复杂机器人任务时存在局部能力不足的问题，难以实现全面的任务成功。
  2. 论文提出了Embodied Agent Arena，通过系统化的评估框架来分析VLMs在多种任务中的表现，尤其关注几何和空间推理能力。
  3. 实验结果显示，Astra模型在精确估计和接触定位方面表现优异，但在协调执行复杂动作方面仍需改进。

📝 摘要（中文）

前沿视觉语言模型（VLMs）结合了场景估计、交互基础和可执行动作。理解这些能力如何支持完整的机器人任务是评估其作为机器人通用者准备程度的核心。我们引入了Embodied Agent Arena，以检验局部能力在几何、空间推理、功能性基础、任务规划和操控等方面对完整任务成功的支持或不足。该竞技场包含1000个案例，来源于32个已建立的来源和我们的新基准GeoProbe，后者用于在Blender渲染和真实场景图像上进行几何估计。我们评估了七个VLMs，分析了Astra在特定任务中的优势，并比较了更丰富的观察执行协议和多轮审查。在竞技场中，Astra在精确估计和可用接触定位方面的优势最为明显，但完成协调的、目标导向的动作仍然是机器人通用性的一大缺口。

🔬 方法详解

问题定义：本论文旨在解决前沿视觉语言模型在执行复杂机器人任务时的能力不足，尤其是在几何估计和空间推理方面的局限性。现有方法未能充分评估这些模型在实际应用中的有效性和通用性。

核心思路：通过引入Embodied Agent Arena，论文提供了一个系统化的评估平台，能够全面考察VLMs在多种任务中的表现，特别是如何支持或限制任务的成功完成。

技术框架：该框架包含多个模块，包括任务案例生成、模型评估和结果分析。竞技场设计了1000个案例，涵盖几何、空间推理等多个维度，确保评估的全面性和准确性。

关键创新：最重要的创新在于引入了GeoProbe基准，专注于几何估计的评估，并通过分离度量精度、功能基础和目标完成度来分析模型性能。这一方法与现有的评估方式有本质区别。

关键设计：在实验中，采用了多轮审查和丰富的观察执行协议，确保了评估的深度和广度。模型的参数设置和损失函数设计经过精心调整，以优化在特定任务中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Astra模型在精确估计和可用接触定位方面的表现优于其他六个VLMs，尤其在几何任务中，Astra的优势明显。然而，完成协调的目标导向动作仍是当前技术的主要短板，亟待进一步研究。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等。通过提升视觉语言模型的通用性，能够使机器人在复杂环境中更好地理解和执行任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Frontier vision-language models (VLMs) combine scene estimation, interaction grounding, and executable actions. Understanding how these abilities support complete robotic tasks is central to evaluating their readiness as robot generalists. We introduce Embodied Agent Arena to examine where local competence supports, or falls short of, complete task success across Geometry, Spatial Reasoning, Affordance, Task Planning, and Manipulation. The arena contains 1,000 cases drawn from 32 established sources and GeoProbe, our new benchmark for geometric estimation on Blender renders and real-scene images. A minimal harness preserves source observations and operations while separating metric precision, functional grounding, and native goal completion. We evaluate seven VLMs, analyze Astra's task-specific advantages, and compare richer-observation execution protocols and multi-round review. Across the arena, Astra's advantage is strongest in precise estimation and usable-contact localization; completing coordinated, goal-directed actions remains the key gap to robot generalism.