Faster and Better? Benchmark Bugs and Design Limitations Distort the Evaluation of Vision-Language-Action Acceleration
作者: Qiwei Chen, Kaijun Zhou, Nuohui Shi, Zhiyang Li, Yuxuan Feng, Jinyu Gu
分类: cs.RO
发布日期: 2026-09-29
备注: Includes appendix
💡 一句话要点
揭示基准缺陷与设计局限影响视觉-语言-动作加速评估
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 基准测试 加速方法 错误修正 设计局限 性能评估 机器人操作
📋 核心要点
- 现有的视觉-语言-动作加速方法在基准测试中存在评估缺陷，导致成功率的提升可能并非源于实际性能的改善。
- 论文通过审计基准，识别并修正了22个实现错误和4个设计局限，以提高评估的准确性和可靠性。
- 实验结果显示，修正后的基准可以显著改变方法排名，基线在某些任务中从最后提升至第一，验证了评估方法的重要性。
📝 摘要（中文）
模拟操作基准是评估视觉-语言-动作（VLA）策略及其加速方法的标准工具。研究发现，一些无训练的加速方法在基准测试中表现出比基线更高的成功率，但成功率的提升可能源于评估缺陷而非任务执行的改善。论文调查了导致这些异常增益的基准缺陷，包括实现与预期任务不符的错误和成功标准的设计局限。通过对七个基准的审计，识别了22个错误和4个设计局限，并提出修正方案。实验表明，修正错误可以逆转方法排名，提升基线性能，强调基准的可靠性对VLA加速评估的重要性。
🔬 方法详解
问题定义：论文旨在解决视觉-语言-动作（VLA）加速方法在基准测试中评估不准确的问题。现有方法的痛点在于成功率的提升可能源于基准的缺陷，而非实际任务执行的改善。
核心思路：通过系统审计基准，识别并分类导致异常增益的错误和设计局限，进而修正这些问题以提高评估的可信度。
技术框架：整体流程包括对任务的审计、错误分类、修正方案的提出以及实验验证。主要模块包括基准审计、错误定位、设计修正和性能评估。
关键创新：论文的创新在于系统性地识别和修正基准中的错误与设计局限，强调了基准评估在加速方法性能评估中的重要性。与现有方法相比，提供了更为可靠的评估标准。
关键设计：修正了成功检查器的宽松标准，调整了不切实际的物体质量，并引入了运动感知评分机制，以鼓励更平滑的动作执行。
🖼️ 关键图片
📊 实验亮点
实验结果显示，修正错误后，基线方法在某一任务中从最后一名跃升至第一名，成功率提升显著；在另一任务中，基线从落后加速方法21个百分点缩小至领先5个百分点，验证了基准修正的重要性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化系统和智能助手等，能够为这些领域的视觉-语言-动作系统提供更可靠的性能评估标准。通过提高评估的准确性，能够促进更高效的算法开发和实际部署，推动智能系统的进步。
📄 摘要（原文）
Simulated manipulation benchmarks are the standard tool for evaluating vision-language-action (VLA) policies and the acceleration methods that reduce their inference latency for on-robot deployment. On these benchmarks, we observe that some training-free acceleration methods, which approximate the baseline policy's computation, achieve higher measured success rates than the baseline itself. Success rates alone cannot establish whether such gains come from better task execution or from evaluation flaws. We therefore investigate two kinds of benchmark flaws behind these gains: bugs, where the implementation does not match the intended task or evaluation protocol, and design limitations, where success criteria and simulation settings do not fully capture how acceleration affects task execution. Starting from tasks with anomalous gains, we localize root causes by plotting object trajectories against checker acceptance regions, and classify the resulting bugs into task consistency, initialization, and reproducibility. Extending this audit to seven benchmarks, including RoboTwin, LIBERO-Plus, and VLABench, we identify 22 bugs of these types and 4 design limitations. For the latter, we revise permissive success checkers, correct unrealistic object masses, and add a motion-aware score that favors smoother actions. Experiments show that bug fixes can reverse method rankings, moving the baseline from last to first on one task. Addressing design limitations can likewise remove anomalous gains: on another task, the baseline moves from 21 percentage points behind an accelerated method to 5 points ahead. Gains attributed to acceleration can therefore be artifacts of the benchmark rather than better task execution. We release our bug fixes and revised benchmark settings to support trustworthy evaluation of VLA acceleration.