VLA-Arena: An Open-Source Framework for Benchmarking Vision-Language-Action Models

📄 arXiv: 2512.22539v1 📥 PDF

作者: Borong Zhang, Jiahao Li, Jiachen Shen, Yishuai Cai, Yuhao Zhang, Yuanpei Chen, Juntao Dai, Jiaming Ji, Yaodong Yang

分类: cs.RO, cs.CV

发布日期: 2025-12-27

💡 一句话要点

VLA-Arena：用于评估视觉-语言-动作模型性能的开源基准测试框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 机器人 基准测试 任务设计 模型评估

📋 核心要点

  1. 现有VLA模型缺乏系统性的评估框架，难以量化其能力边界和识别潜在的失败模式。
  2. VLA-Arena通过结构化的任务设计，从任务结构、语言命令和视觉观察三个维度量化任务难度。
  3. 实验表明，现有VLA模型在泛化能力、鲁棒性、安全性和长时程任务处理方面存在局限性。

📝 摘要（中文）

视觉-语言-动作模型（VLA）正快速发展为通用机器人策略，但量化理解其局限性和失败模式仍然困难。为此，我们提出了一个全面的基准测试框架VLA-Arena。我们设计了一个新颖的结构化任务设计框架，从三个正交维度量化任务难度：（1）任务结构，（2）语言命令，和（3）视觉观察。这使我们能够系统地设计具有精细难度级别的任务，从而精确测量模型的能力边界。对于任务结构，VLA-Arena的170个任务分为四个维度：安全性、干扰物、外推性和长时程。每个任务都设计有三个难度级别（L0-L2），仅在L0上进行微调以评估通用能力。与此正交的是，语言（W0-W4）和视觉（V0-V4）扰动可以应用于任何任务，以实现鲁棒性的解耦分析。对最先进VLA的广泛评估揭示了几个关键限制，包括强烈倾向于记忆而非泛化、不对称的鲁棒性、缺乏对安全约束的考虑以及无法组合学习到的技能以完成长时程任务。为了促进解决这些挑战的研究并确保可重复性，我们提供了完整的VLA-Arena框架，包括从任务定义到自动评估的端到端工具链以及用于微调的VLA-Arena-S/M/L数据集。我们的基准、数据、模型和排行榜可在https://vla-arena.github.io上找到。

🔬 方法详解

问题定义：现有视觉-语言-动作模型（VLA）的评估缺乏统一和细粒度的标准。难以系统性地理解模型的性能瓶颈，例如在安全性、泛化性、鲁棒性和长时程任务处理方面的不足。现有方法通常侧重于特定任务或数据集，缺乏对模型能力边界的全面探索。

核心思路：VLA-Arena的核心在于提供一个结构化的任务设计框架，该框架能够从任务结构、语言命令和视觉观察三个正交维度量化任务难度。通过精细控制每个维度的难度级别，可以系统地评估VLA模型在不同场景下的性能表现，从而揭示其潜在的局限性和优势。这种正交分解的设计思想有助于解耦不同因素对模型性能的影响，从而进行更深入的分析。

技术框架：VLA-Arena框架包含以下主要组成部分：1) 任务定义模块：定义了170个任务，涵盖安全性、干扰物、外推性和长时程四个维度，每个任务包含三个难度级别（L0-L2）。2) 扰动模块：允许对语言命令（W0-W4）和视觉观察（V0-V4）进行扰动，以评估模型的鲁棒性。3) 评估模块：提供自动化的评估流程，用于测量模型在不同任务和扰动下的性能。4) 数据集模块：提供VLA-Arena-S/M/L数据集，用于模型的微调和训练。

关键创新：VLA-Arena的关键创新在于其结构化的任务设计框架，该框架能够从多个维度量化任务难度，并允许对语言和视觉信息进行扰动，从而实现对VLA模型性能的细粒度分析。与现有方法相比，VLA-Arena提供了一个更全面、更灵活的评估平台，能够更有效地揭示VLA模型的局限性和优势。

关键设计：任务结构维度包含安全性（例如，避免碰撞）、干扰物（例如，忽略无关物体）、外推性（例如，处理未见过的场景）和长时程（例如，完成多个步骤的任务）。每个维度都设计了不同难度级别的任务。语言扰动包括改变命令的复杂性或引入歧义。视觉扰动包括改变光照条件或引入遮挡。模型仅在L0难度级别上进行微调，以评估其泛化能力。使用标准指标（例如，成功率）来评估模型在不同任务和扰动下的性能。

📊 实验亮点

对现有VLA模型的评估表明，这些模型在泛化能力、鲁棒性、安全性和长时程任务处理方面存在显著局限性。例如，模型倾向于记忆训练数据而非泛化到新场景。此外，模型对语言和视觉扰动的鲁棒性存在不对称性。实验结果表明，VLA-Arena能够有效地揭示这些局限性，并为未来的研究提供指导。

🎯 应用场景

VLA-Arena可用于评估和比较不同的视觉-语言-动作模型，从而推动机器人领域的研究进展。该框架可用于开发更安全、更鲁棒、更通用的机器人策略，应用于自动化生产、家庭服务、医疗保健等领域。通过识别现有模型的局限性，VLA-Arena有助于指导未来的研究方向，例如提高模型的泛化能力和长时程任务处理能力。

📄 摘要（原文）

While Vision-Language-Action models (VLAs) are rapidly advancing towards generalist robot policies, it remains difficult to quantitatively understand their limits and failure modes. To address this, we introduce a comprehensive benchmark called VLA-Arena. We propose a novel structured task design framework to quantify difficulty across three orthogonal axes: (1) Task Structure, (2) Language Command, and (3) Visual Observation. This allows us to systematically design tasks with fine-grained difficulty levels, enabling a precise measurement of model capability frontiers. For Task Structure, VLA-Arena's 170 tasks are grouped into four dimensions: Safety, Distractor, Extrapolation, and Long Horizon. Each task is designed with three difficulty levels (L0-L2), with fine-tuning performed exclusively on L0 to assess general capability. Orthogonal to this, language (W0-W4) and visual (V0-V4) perturbations can be applied to any task to enable a decoupled analysis of robustness. Our extensive evaluation of state-of-the-art VLAs reveals several critical limitations, including a strong tendency toward memorization over generalization, asymmetric robustness, a lack of consideration for safety constraints, and an inability to compose learned skills for long-horizon tasks. To foster research addressing these challenges and ensure reproducibility, we provide the complete VLA-Arena framework, including an end-to-end toolchain from task definition to automated evaluation and the VLA-Arena-S/M/L datasets for fine-tuning. Our benchmark, data, models, and leaderboard are available at https://vla-arena.github.io.