LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models
作者: Senyu Fei, Siyin Wang, Junhao Shi, Zihao Dai, Jikun Cai, Pengfang Qian, Li Ji, Xinzhe He, Shiduo Zhang, Zhaoye Fei, Jinlan Fu, Jingjing Gong, Xipeng Qiu
分类: cs.RO, cs.CL, cs.CV
发布日期: 2025-10-15 (更新: 2025-12-26)
💡 一句话要点
LIBERO-Plus：对视觉-语言-动作模型的深度鲁棒性分析
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作模型 机器人操作 鲁棒性分析 扰动分析 脆弱性评估
📋 核心要点
- 现有VLA模型在理想环境下表现出色，但在真实场景中鲁棒性不足，对细微扰动非常敏感。
- 该研究通过系统性地引入七个维度的扰动，全面评估了VLA模型的鲁棒性，揭示其潜在弱点。
- 实验表明，VLA模型对相机视角和机器人初始状态等扰动高度敏感，且很大程度上忽略语言指令。
📝 摘要（中文）
视觉-语言-动作(VLA)模型在机器人操作基准测试中取得了令人瞩目的成功率，然而这些结果可能掩盖了鲁棒性方面的根本弱点。我们通过在七个维度上引入受控扰动，进行系统的脆弱性分析：对象布局、相机视角、机器人初始状态、语言指令、光照条件、背景纹理和传感器噪声。我们全面分析了多个最先进的模型，揭示了表面能力之下的持续脆弱性。我们的分析揭示了关键弱点：模型对扰动因素表现出极端的敏感性，包括相机视角和机器人初始状态，在适度扰动下性能从95%下降到30%以下。令人惊讶的是，模型在很大程度上对语言变化不敏感，进一步的实验表明模型倾向于完全忽略语言指令。我们的发现挑战了高基准分数等同于真正能力的假设，并强调需要评估在真实变化下可靠性的评估实践。
🔬 方法详解
问题定义：现有视觉-语言-动作(VLA)模型在标准机器人操作基准测试中表现出很高的成功率，但这些结果可能具有误导性，因为它们没有充分评估模型在真实世界变化下的鲁棒性。现有方法未能系统地识别和量化VLA模型对各种扰动因素的敏感性，这限制了我们对模型真正能力的理解，并阻碍了开发更可靠的机器人系统。
核心思路：该研究的核心思路是通过引入受控的扰动，系统性地评估VLA模型在不同维度上的鲁棒性。通过观察模型在受到扰动时的性能变化，可以揭示其潜在的弱点和敏感性。这种方法旨在超越简单的基准测试分数，更深入地了解模型的真实能力。
技术框架：该研究的技术框架包括以下几个关键步骤：1) 选择多个最先进的VLA模型进行评估。2) 定义七个扰动维度：对象布局、相机视角、机器人初始状态、语言指令、光照条件、背景纹理和传感器噪声。3) 在每个维度上引入不同程度的扰动。4) 评估模型在受到扰动后的性能，并与未受扰动时的性能进行比较。5) 分析结果，识别模型对哪些扰动因素最敏感，并解释其原因。
关键创新：该研究的关键创新在于其系统性的扰动分析方法。与以往的研究不同，该研究不仅关注模型的整体性能，还深入研究了模型对各种扰动因素的敏感性。这种方法能够更全面地评估模型的鲁棒性，并揭示其潜在的弱点。此外，该研究还发现，VLA模型在很大程度上忽略语言指令，这挑战了我们对模型理解和利用语言能力的假设。
关键设计：在扰动维度方面，研究精心选择了七个具有代表性的维度，涵盖了机器人操作任务中常见的变化因素。在扰动程度方面，研究采用了逐步增加扰动幅度的方法，以观察模型性能的逐渐下降过程。在评估指标方面，研究采用了成功率作为主要指标，并结合其他指标进行综合分析。此外，研究还设计了专门的实验来验证模型是否真正理解和利用语言指令。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VLA模型对相机视角和机器人初始状态的扰动非常敏感，性能下降显著，从95%降至30%以下。更令人惊讶的是，模型在很大程度上忽略了语言指令，这表明模型可能依赖于其他线索来完成任务，而非真正理解语言。
🎯 应用场景
该研究成果可应用于机器人操作系统的鲁棒性提升，例如，通过对抗训练增强模型对视角变化的适应性。此外，该研究也为VLA模型的评估提供了新的思路，有助于开发更可靠、更实用的机器人系统，应用于工业自动化、家庭服务、医疗辅助等领域。
📄 摘要（原文）
Visual-Language-Action (VLA) models report impressive success rates on robotic manipulation benchmarks, yet these results may mask fundamental weaknesses in robustness. We perform a systematic vulnerability analysis by introducing controlled perturbations across seven dimensions: objects layout, camera viewpoints, robot initial states, language instructions, light conditions, background textures and sensor noise. We comprehensively analyzed multiple state-of-the-art models and revealed consistent brittleness beneath apparent competence. Our analysis exposes critical weaknesses: models exhibit extreme sensitivity to perturbation factors, including camera viewpoints and robot initial states, with performance dropping from 95% to below 30% under modest perturbations. Surprisingly, models are largely insensitive to language variations, with further experiments revealing that models tend to ignore language instructions completely. Our findings challenge the assumption that high benchmark scores equate to true competency and highlight the need for evaluation practices that assess reliability under realistic variation.