VLA-Scope: Shift-Aware Failure Prediction for Vision-Language-Action Models

📄 arXiv: 2609.21246v1 📥 PDF

作者: Kaiwen Zhu, Dongfang Liu, Liangkai Liu

分类: cs.RO, cs.AI, cs.CV, eess.SY

发布日期: 2026-09-18

备注: 9 pages, 3 figures

💡 一句话要点

提出VLA-Scope以解决视觉-语言-动作模型的失败预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 失败预测 分布变化 多模态学习 机器人控制 执行历史 逻辑回归 OOD检测

📋 核心要点

  1. 现有的视觉-语言-动作模型在面对分布变化时，容易出现执行失败，传统的OOD检测方法无法有效预测这些失败。
  2. 本文提出的VLA-Scope框架通过两阶段的方式，结合输入变化特征与执行历史，提升了对执行失败的预测能力。
  3. 在实验中，VLA-Scope在多个LIBERO-Spatial任务上实现了高达0.9454的ROC-AUC，显著优于现有基线方法。

📝 摘要（中文）

视觉-语言-动作（VLA）模型将视觉观察与自然语言指令映射到机器人动作，但分布变化可能影响其可靠性。仅检测超出分布（OOD）输入不足以预测执行失败。本文提出VLA-Scope，一个两阶段框架，结合输入变化特征与执行历史来预测OOD情况下的失败。第一阶段使用图像和语言表示检测OOD输入并分类其变化类别；第二阶段结合预测类别、动作前缀特征和执行进度特征，通过共享的逻辑回归模型更新失败风险。实验结果表明，该框架在多个任务上表现优异，成功提高了失败预测的准确性。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在面对分布变化时的执行失败预测问题。现有方法仅依赖于OOD输入检测，无法有效捕捉执行过程中的失败风险。

核心思路：VLA-Scope框架通过两阶段的方式，首先识别OOD输入及其变化类别，然后结合执行历史信息，动态更新失败预测，提升了预测的准确性。

技术框架：该框架分为两个主要阶段：第一阶段利用图像和语言表示检测OOD输入并进行分类；第二阶段结合OOD类别、动作前缀特征和执行进度特征，通过逻辑回归模型更新失败风险。

关键创新：VLA-Scope的创新在于将输入变化特征与执行历史结合，形成动态的失败预测机制，显著提高了在OOD情况下的预测能力。

关键设计：框架中使用的逻辑回归模型在不同变化类别间共享，确保了模型的通用性和适应性。同时，执行进度特征的引入使得模型能够实时更新失败风险。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，VLA-Scope在OOD检测中达到了0.9454的ROC-AUC，变化分类准确率为91%。在1400个OOD回合中，失败预测的ROC-AUC为0.8497，较未使用执行进度特征的0.7906有显著提升，超越了ActProbe和SAFE-MLP基线。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能家居等场景，能够有效提升系统在复杂环境下的可靠性和安全性。未来，该框架可扩展至更多多模态任务，推动智能系统的进一步发展。

📄 摘要（原文）

Vision-language-action (VLA) models map visual observations and natural-language instructions to robotic actions, but distribution shifts can compromise their reliability. Because these models may still succeed under out-of-distribution (OOD) conditions, detecting OOD inputs alone is insufficient to predict execution failure. In this paper, we introduce VLA-Scope, a two-stage framework that combines input-shift characterization with execution history to predict failure during OOD rollouts. The first stage uses pooled image and language representations to detect OOD inputs and classify their shift categories. For inputs flagged as OOD, the second stage combines the predicted category, action-prefix features, and execution progress features. A logistic regression model shared across shift categories updates failure risk as execution proceeds. We evaluate the framework with OpenVLA on ten LIBERO-Spatial tasks using leave-one-group-out cross-validation. OOD detection achieves a ROC-AUC of 0.9454, and shift classification achieves 91% accuracy. Evaluated independently of the OOD gate on all 1,400 OOD rollouts, the failure predictor achieves a ROC-AUC of 0.8497 after 60 executed actions, compared with 0.7906 without execution progress features. It also achieves a higher ROC-AUC than the evaluated ActProbe and SAFE-MLP baselines. These results suggest that combining action features with temporally aggregated execution step representations improves failure prediction under input shifts.