Is Success All You Need? Investigating the Impact of Input Perturbations on VLA Behaviour in Tabletop Manipulation Tasks

📄 arXiv: 2610.01351v1 📥 PDF

作者: Sophie Higham, Riccardo Andrea Izzo, Matteo Matteucci, Alessandro Suglia

分类: cs.RO

发布日期: 2026-10-01

💡 一句话要点

提出基准无关评估框架以提升VLA模型的行为鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 鲁棒性评估 机器人操作 任务成功率 行为特征 扰动影响 LIBERO基准

📋 核心要点

  1. 现有的VLA模型鲁棒性评估主要依赖于任务成功率（TSR），未能全面反映模型在扰动下的行为变化。
  2. 本文提出了一种基准无关的评估框架，旨在通过分析成功轨迹在扰动下的执行情况来衡量模型的行为鲁棒性。
  3. 实验结果显示，扰动会显著影响成功轨迹的行为，且在相同扰动条件下不同模型的行为表现可能存在显著差异。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在机器人操作任务基准上取得了高任务成功率。近期对VLA模型在扰动下的鲁棒性进行了评估，但主要通过任务成功率（TSR）来衡量。本文提出了一种基准无关的评估框架，通过表征在扰动下成功轨迹的执行情况来测量模型的行为鲁棒性。我们扩展了广泛使用的LIBERO和LIBERO-Plus基准，评估了三种最先进的VLA模型在四个LIBERO任务套件和七种扰动条件下的表现。研究发现，扰动可以显著改变成功轨迹的行为，这一现象无法仅通过TSR推断。因此，我们认为评估VLA模型的鲁棒性时，除了任务完成情况，还应关注机器人在完成任务时的行为特征。

🔬 方法详解

问题定义：本文旨在解决现有VLA模型鲁棒性评估方法的不足，特别是仅依赖TSR无法全面反映模型在扰动下的行为变化。

核心思路：提出基准无关的评估框架，通过分析成功轨迹的执行情况，捕捉模型在扰动下的行为特征和变化。

技术框架：整体架构包括扩展LIBERO和LIBERO-Plus基准，评估三种VLA模型在不同任务套件和扰动条件下的表现，重点关注运动平滑性、效率和夹持器行为等指标。

关键创新：最重要的创新在于引入了行为评估指标，补充了传统的任务成功率，使得鲁棒性评估更加全面和准确。

关键设计：在实验中，设置了七种扰动条件，评估了成功轨迹的变化，采用了运动平滑性、效率和夹持器行为等多种指标，以全面反映模型的行为特征。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，在相同扰动条件下，尽管不同VLA模型的任务成功率相似，但其成功轨迹的行为表现却存在显著差异。这一发现强调了行为评估的重要性，为未来的模型评估提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过提升VLA模型在扰动下的行为鲁棒性，可以增强机器人在复杂环境中的适应能力，提高其在实际应用中的可靠性和效率。

📄 摘要（原文）

Vision-Language-Action (VLA) models have achieved high task success rates on robot manipulation task benchmarks. More recently, there has been an emphasis on evaluating the robustness of VLA models to perturbations. However, this robustness is still predominantly measured through Task Success Rate (TSR). In this work, we propose a benchmark-agnostic evaluation framework to measure the behavioural robustness of models by characterising how successful trajectories are executed under perturbation. We implement this methodology by extending the widely-used LIBERO and LIBERO-Plus benchmarks. Across three state-of-the-art VLA models, four LIBERO task suites and seven perturbation conditions, we evaluate changes in both typical successful behaviour and its variability, including metrics of motion smoothness, efficiency and gripper behaviour. We find that perturbations can alter the behaviour of successful trajectories, a phenomenon which cannot necessarily be inferred from TSR alone. Across LIBERO suites, we identify cases where state-of-the-art VLA models achieve comparable TSR under the same perturbation condition, yet behaviour on successful trajectories diverges substantially. Therefore, to have a more robust assessment of task performance, we argue that suitable measures of robustness should capture not only whether a task is completed, but also how the robot behaves while completing it. When evaluating the robustness of VLA models, TSR may be complemented by behavioural evaluation metrics that characterise the nature and variability of successful task execution by robots.