LIBERO-RIG: A Hardware-Setup Robustness Benchmark for Vision-Language-Action Models

📄 arXiv: 2610.18843v1 📥 PDF

作者: Andrea Yaoyun Cui, Hanyu Wang, Xinyi Wang, Bangzheng Li, Lin Zhang, Zhenggang Tang, Shyamal Buch, Dejia Xu, Matthew Tancik

分类: cs.RO, cs.AI

发布日期: 2026-10-13

备注: 30 pages (4 pages main text plus appendix), 15 figures, 18 tables

💡 一句话要点

提出LIBERO-RIG基准以评估视觉-语言-动作模型的硬件鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人鲁棒性 视觉-语言-动作 硬件扰动 性能评估 基准测试 智能机器人 模型泛化

📋 核心要点

  1. 现有机器人策略在不同环境中表现不一致，尤其是硬件变化导致的性能下降问题亟待解决。
  2. LIBERO-RIG基准通过扰动机器人硬件，保持任务不变，系统评估视觉-语言-动作模型的鲁棒性。
  3. 实验结果显示，模型在不同严重程度的扰动下成功率显著下降，尤其是视觉扰动未能有效缓解性能下降。

📝 摘要（中文）

机器人策略需要在不同的部署环境中具备良好的泛化能力，然而现有方法往往忽视了机器人硬件的变化。本文提出LIBERO-RIG基准，通过对机器人硬件和设置进行扰动，评估其在固定LIBERO任务下的表现。基准涵盖了十一种扰动轴，每个轴有五个严重程度，共计210种条件。通过对九种视觉-语言-动作模型的评估，发现成功率在中等和最高严重程度下分别降至0.767和0.509，且不同扰动轴和动作接口的性能下降差异显著。我们同时发布了该基准及每个实验的固定扰动参数清单。

🔬 方法详解

问题定义：本文旨在解决机器人在不同硬件设置下的鲁棒性评估问题。现有方法未能充分考虑硬件变化对机器人策略的影响，导致泛化能力不足。

核心思路：LIBERO-RIG基准通过对机器人硬件进行系统性扰动，评估其在固定任务下的表现，旨在揭示不同硬件变化对模型性能的影响。

技术框架：该基准涵盖十一种扰动轴，包括相机安装、相机与机械臂的校准、驱动增益、控制频率等，每个轴有五个严重程度，形成210种实验条件。

关键创新：LIBERO-RIG的创新在于专注于硬件扰动的系统性评估，填补了现有方法在硬件鲁棒性评估方面的空白。

关键设计：实验中使用了九种视觉-语言-动作模型，每种模型在500个实验条件下进行评估，确保结果的统计显著性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，模型在中等严重程度的扰动下成功率降至0.767，而在最高严重程度下更是降至0.509，表明不同扰动轴和动作接口的性能下降差异显著。这一发现为未来的模型设计和训练提供了重要的参考。

🎯 应用场景

LIBERO-RIG基准可广泛应用于机器人领域，尤其是在需要高鲁棒性的视觉-语言-动作系统中。通过对硬件变化的系统评估，研究人员可以更好地理解和改进机器人在实际环境中的表现，推动智能机器人技术的进步。

📄 摘要（原文）

Robot policies are expected to generalize across deployment environments, including variations in the robot itself: cameras are bumped and remounted, calibrations drift, controllers run at different rates, and end-effector pads wear down. We present LIBERO-RIG, a benchmark that perturbs only the robot's hardware and setup while holding every LIBERO task fixed. The benchmark spans eleven perturbation axes, including camera mounting and optics, camera-to-arm calibration, actuation gain, control rate, proprioceptive noise, base pose, table height, and gripper pads. Each axis has five severity levels, yielding 210 conditions across the four LIBERO suites. We evaluate nine recent vision-language-action models using 500 episodes per condition and substantiate each finding with rigorous statistical tests. Pooled success falls from 0.932 to 0.767 at the middle severity and 0.509 at the highest severity. Performance degradation varies substantially across perturbation axes and action interfaces, and training on visual perturbations does not mitigate faults that leave camera images unchanged. We release the benchmark together with manifests specifying the fixed perturbation parameters for each episode.