IndustrialVLA-Bench: A Traceable Multi-Axis Evaluation of Open Robot Policy Models
作者: Yiqi Wang, Zhifeng Rao, Jiaqi Zhang, Xiaoyang Li, Zhangkai Wu, Yiqun Duan, Mingkai Zheng, Fei Wang, Shan You, Taotao Cai
分类: cs.RO, cs.AI
发布日期: 2026-09-22
备注: preprint
🔗 代码/项目: GITHUB
💡 一句话要点
提出IndustrialVLA-Bench以统一评估机器人政策模型的能力与鲁棒性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人政策 评估框架 视觉-语言-动作 世界-动作模型 鲁棒性评估 指令敏感性 工业自动化
📋 核心要点
- 现有的机器人政策评估方法缺乏统一标准，导致不同模型间的能力和鲁棒性比较困难。
- 本文提出IndustrialVLA-Bench，通过统一评估框架对VLA和WAM系统进行多维度评估，提供清晰的比较依据。
- 实验结果表明，六个系统在不同评估指标上的表现差异显著，尤其在鲁棒性和指令敏感性方面，提供了有价值的见解。
📝 摘要（中文）
随着开放机器人政策的不断发展，视觉-语言-动作模型（VLA）和世界-动作模型（WAM）成为两种主要的设计范式。然而，现有的评估协议使得这两者的能力、鲁棒性和语言敏感性等方面的比较变得模糊。为此，本文提出了IndustrialVLA-Bench，这是一个基于证据的评估框架，统一评估六种已发布的VLA和WAM系统。该框架在LIBERO上评估清晰能力，在LIBERO-Plus上评估非语言鲁棒性，在LIBERO-Para上评估指令敏感性，并记录观察到的执行成本。结果显示，六个系统在清晰LIBERO上的平均分差异仅为1.58分，而鲁棒性和改述总结的差异则分别达到14.62和31.08分。该研究为比较不同机器人政策提供了可追溯的证据，代码和评估记录已公开。
🔬 方法详解
问题定义：本文旨在解决现有机器人政策模型在能力、鲁棒性和语言敏感性等方面评估标准不统一的问题，导致模型间的比较缺乏清晰性和可追溯性。
核心思路：通过提出IndustrialVLA-Bench，作者设计了一个统一的评估框架，能够在相同的标准下对不同的VLA和WAM系统进行全面评估，确保评估结果的可比性和透明度。
技术框架：该框架包括多个评估模块，分别针对清晰能力、非语言鲁棒性、指令敏感性和执行成本进行评估。每个模块使用固定的检查点和推理配置进行多次评估，以确保结果的稳定性。
关键创新：IndustrialVLA-Bench的最大创新在于其提供了一个统一的评估标准，使得不同设计范式的机器人政策能够在相同的条件下进行比较，避免了以往评估方法的片面性。
关键设计：在评估过程中，作者设置了多个随机种子进行完整评估，并记录了每个系统的推理延迟、峰值内存和运行模式等信息，以确保评估的全面性和准确性。每个系统的证据状态也被清晰标记，便于后续的验证和比较。
🖼️ 关键图片
📊 实验亮点
实验结果显示，六个系统在清晰LIBERO上的平均分差异仅为1.58分，而在鲁棒性和改述总结方面的差异分别达到14.62和31.08分。这表明不同模型在鲁棒性和指令敏感性方面存在显著差异，为后续研究提供了重要的参考依据。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、智能制造和服务机器人等。通过提供统一的评估标准，IndustrialVLA-Bench能够帮助研究人员和工程师更好地选择和优化机器人政策模型，从而提升机器人在复杂环境中的操作能力和效率。未来，该框架可能推动机器人技术的标准化和普及。
📄 摘要（原文）
Open robot policies increasingly follow two paradigms: vision-language-action models (VLAs) directly map observations and instructions to actions, whereas world-action models (WAMs) incorporate learned video or world dynamics into policy learning or action generation. Although both target the same manipulation tasks and represent alternative design choices, they are commonly reported under different evaluation protocols, leaving their capability, robustness, language sensitivity, and deployment-cost trade-offs unclear. We present IndustrialVLA-Bench, an evidence-aware evaluation of six released VLA and WAM systems under a unified reporting schema. It separately evaluates clean capability on LIBERO, non-language robustness on LIBERO-Plus, instruction sensitivity on LIBERO-Para, and observed execution cost. Reported task scores aggregate three complete evaluations with distinct random seeds under a fixed checkpoint and inference configuration. Across all six systems, clean LIBERO averages differ by only 1.58 points, whereas robustness and paraphrase summaries span 14.62 and 31.08 points. Restricting every comparison to the three protocol-faithful systems preserves the effect (1.36, 14.62 and 23.10 points), so the diagnostic separation reported here does not depend on the weaker evidence tiers. We additionally report observed inference latency, peak memory, runtime mode, and an evidence status for every system. Protocol-faithful, near-reproduction, and pending-verification entries remain visibly separated; only protocol-faithful entries support strict comparisons. Rather than claiming universal superiority of either paradigm, IndustrialVLA-Bench provides traceable evidence for comparing released robot policies on shared practical criteria. Code and evaluation records are available at https://github.com/xiaoqi-7/IndustrialVLA-Bench.