LIBERO-VPro: Benchmarking Closed-Loop Visual Robustness of Robotic Foundation Models

📄 arXiv: 2609.24350v1 📥 PDF

作者: Huiqiong Li, Zhiting Mei, Anirudha Majumdar, Jingjing Chen, Yu-Gang Jiang, Bin Zhu

分类: cs.RO, cs.CV

发布日期: 2026-09-21

备注: Project:https://huiqiongli.github.io/LIBERO-VPro/

💡 一句话要点

提出LIBERO-VPro以评估机器人基础模型的视觉鲁棒性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉鲁棒性 机器人基础模型 闭环控制 实验评估 多维度评估

📋 核心要点

  1. 现有的机器人基础模型在动态和复杂环境中表现出明显的视觉鲁棒性不足，尤其在视觉信息受损时。
  2. LIBERO-VPro通过系统性地扰动视觉证据，提供了一个多维度的评估框架，帮助识别模型在不同视觉条件下的表现。
  3. 实验结果表明，尽管模型在标准条件下表现良好，但在视觉干扰和任务变化时，性能显著下降，显示出鲁棒性差异。

📝 摘要（中文）

机器人基础模型在标准操作基准上表现出色，但这些评估通常假设在执行过程中视觉观察是干净、及时和一致的。我们引入LIBERO-VPro，一个系统评估机器人基础模型闭环视觉鲁棒性的基准，通过扰动执行过程中的视觉证据。LIBERO-VPro涵盖视觉证据退化、相机滞后、视觉源一致性和任务相关场景变化四个维度，涉及12个挑战类别、96个实验设置和3296个任务条件案例。我们对三种视觉-语言-动作模型和三种世界-动作模型进行了评估，结果显示强大的名义性能掩盖了视觉基础和适应性方面的重大弱点。

🔬 方法详解

问题定义：论文旨在解决机器人基础模型在动态环境中视觉鲁棒性不足的问题。现有方法通常假设视觉输入是干净和一致的，未考虑实际应用中的视觉扰动。

核心思路：LIBERO-VPro通过扰动视觉证据，系统评估模型在闭环控制下的视觉鲁棒性，帮助识别模型在不同视觉条件下的表现差异。

技术框架：整体架构包括四个主要维度：视觉证据退化、相机滞后、视觉源一致性和任务相关场景变化。每个维度下又细分为多个挑战类别和实验设置，形成一个全面的评估体系。

关键创新：LIBERO-VPro的创新在于其系统性和多维度的评估方法，能够揭示模型在视觉干扰下的真实表现，与传统评估方法相比，提供了更深入的洞察。

关键设计：在实验中，设置了多种视觉扰动参数，并采用了多种损失函数和网络结构，以确保模型在不同条件下的适应性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，尽管模型在标准条件下表现良好，但在视觉干扰和任务变化时，性能显著下降。例如，当局部交互线索被破坏或熟悉的空间先验被违反时，模型的成功率急剧下降，显示出视觉鲁棒性是多维度且架构依赖的。

🎯 应用场景

该研究的潜在应用领域包括自主机器人、智能制造和服务机器人等，能够帮助开发更可靠的机器人系统，提升其在复杂环境中的操作能力。未来，LIBERO-VPro可能成为评估和优化机器人视觉系统的重要工具，推动机器人技术的进步。

📄 摘要（原文）

Robotic foundation models achieve impressive performance on standard manipulation benchmarks, yet these evaluations typically assume clean, timely, and consistent visual observations throughout execution. We introduce LIBERO-VPro, a benchmark for systematically evaluating the closed-loop visual robustness of robotic foundation models by perturbing the visual evidence available during execution. LIBERO-VPro covers four complementary dimensions, including Visual Evidence Degradation, Camera Staleness, Visual Source Consistency, and Task-Relevant Scene Variation, spanning 12 challenge categories, 96 experimental settings, and 3,296 task-condition cases. We evaluate three vision-language-action models and three world-action models over approximately 196,000 simulated episodes, complemented by 200 real-world rollouts on a Franka Research 3. Our results reveal that strong nominal performance can mask substantial weaknesses in visual grounding and adaptation. Models often remain successful despite severe object-level occlusion, yet degrade sharply when local interaction cues are disrupted or familiar spatial priors are violated. They are also highly sensitive to stale or missing observations and struggle when changed task preconditions require behavioral adaptation. Finally, VLAs and WAMs exhibit distinct robustness profiles, showing that visual robustness is multi-dimensional and architecture-dependent. LIBERO-VPro provides a systematic diagnostic framework for developing robotic foundation models that can more reliably ground and adapt their actions under challenging visual conditions.