RoboCasa-Shift: Stage-Aware Robustness Evaluation of Vision-Language-Action Policies in Long-Horizon Household Manipulation
作者: Haocheng Wang, Youquan Liu, Weiyu Guo, Aokai Zhang, Donghang Wu, Hongyu Liu, Sha Zhang, Weidong Yang, Ben Fei
分类: cs.RO
发布日期: 2026-10-20
🔗 代码/项目: GITHUB
💡 一句话要点
提出RoboCasa-Shift以解决长时间家居操作中的VLA鲁棒性评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 鲁棒性评估 长时间操作 家居机器人 多维属性分析
📋 核心要点
- 现有方法通常通过整体任务成功率来评估VLA鲁棒性，忽视了个体执行在分布变化下的表现差异。
- 提出RoboCasa-Shift基准，通过控制单因素变化和阶段感知诊断，提供更细致的鲁棒性评估。
- 在四个长时间任务中进行评估，发现不同因素和任务的鲁棒性响应差异显著，且干扰强度与性能下降不总是呈单调关系。
📝 摘要（中文）
视觉-语言-动作（VLA）鲁棒性通常通过任务成功率来总结，这掩盖了在分布变化下个体执行的变化及失败发生的原因。我们引入了RoboCasa-Shift，这是一个基于RoboCasa365构建的诊断鲁棒性基准，结合了受控的单因素变化、匹配的干扰回放和模拟器基础的阶段感知诊断。我们在四个长时间任务上评估了GR00T N1.5，结果显示鲁棒性响应在不同因素和任务间差异显著，且增加的干扰强度并不总是导致单调的性能下降。我们的研究表明，VLA鲁棒性应被视为执行的多维属性，而非单一的端到端性能指标。
🔬 方法详解
问题定义：本论文旨在解决视觉-语言-动作（VLA）鲁棒性评估中的不足，现有方法过于依赖整体成功率，未能揭示个体执行在不同条件下的表现变化。
核心思路：通过引入RoboCasa-Shift基准，结合受控的单因素变化和阶段感知分析，提供更全面的鲁棒性评估，强调执行过程中的多维特性。
技术框架：整体架构包括受控单因素变化的设计、匹配的干扰回放和阶段感知诊断模块。评估过程涵盖了多个长时间任务和不同的干扰强度。
关键创新：RoboCasa-Shift的设计使得鲁棒性评估不仅关注最终结果，还考虑执行过程中的失败进展，提供了更深入的分析视角。
关键设计：在实验中使用了四个扰动因素和三个校准的强度级别，评估了GR00T N1.5的表现，特别关注了不同因素对任务成功率的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在四个长时间任务中，鲁棒性响应在不同因素和任务间存在显著差异。例如，在某些条件下，尽管有80个匹配回放中有8个结果变化，但成功率变化为0，表明鲁棒性评估的复杂性。
🎯 应用场景
该研究的潜在应用领域包括智能家居机器人、自动化服务系统及其他需要长时间操作的机器人系统。通过改进鲁棒性评估方法，可以提升机器人在复杂环境中的适应能力和执行效率，推动智能家居技术的发展。
📄 摘要（原文）
Vision-language-action (VLA) robustness is commonly summarized by aggregate task success, which obscures how individual executions change under distribution shifts and where failures emerge in long-horizon tasks. We introduce \textbf{RoboCasa-Shift}, a diagnostic robustness benchmark built on RoboCasa365 that combines controlled single-factor shifts, matched clean-perturbed rollouts in which each pair shares the same underlying settings and differs only in the target shift, and simulator-grounded stage-aware diagnostics. We evaluate GR00T N1.5 on four long-horizon tasks that pass a predefined clean-performance gate under four perturbation factors and three calibrated severity levels, including conditions that drive the evaluated policy to complete task failure, totaling 1,040 formal rollouts. Robustness responses vary substantially across factors and tasks, and increasing severity does not always produce monotonic degradation. For example, one camera condition yields $Δ\mathrm{SR}=0$ despite 8 of 80 matched episodes changing outcome. Stage-aware analysis further shows that the same end-to-end degradation can correspond to different execution-depth profiles. Camera $L_2$ and Gaussian blur $L_1$ both yield $Δ\mathrm{SR}=0.188$, yet their first-stage failure rates are 19.0\% and 36.4\%, respectively. Our findings suggest that VLA robustness should be viewed as a multi-dimensional property of execution rather than a single end-to-end performance measure, motivating evaluation protocols that jointly capture outcome degradation, paired outcome sensitivity, and failure progression. The code is publicly available at https://github.com/HaochengWang23/RoboCasa-Shift.