Learning from Runtime Feedback through Failure-Bank Self-Evolution for Vision-Language-Action Models
作者: Mingyue Cui, Zheyuan Liu, Yihan Zhu, Zheyuan Zhang, Meng Jiang
分类: cs.RO, cs.AI
发布日期: 2026-09-30
备注: Runtime-feedback-driven self-evolution for safer VLA policies
💡 一句话要点
提出FailBank框架以解决VLA模型中的反馈与策略不匹配问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 运行时反馈 策略改进 自我演化 机器人操作 复杂环境 性能提升
📋 核心要点
- 现有的运行时保护机制无法有效解决策略与反馈之间的持续不匹配问题，限制了任务的成功率。
- 本文提出的FailBank框架通过四个阶段将运行时反馈转化为持久的策略改进，增强了模型的适应性。
- 实验结果表明，FailBank在任务成功率上提升了8.5和6.9个百分点，同时减少了政策引起的累计成本，显示出显著的效果。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在机器人操作任务中具有广泛的泛化能力，但在复杂环境中需要平衡任务成功与意外接触。现有的运行时保护机制只能修正单个动作，而无法改变底层策略，导致持续的策略与保护机制不匹配，从而阻碍任务进展。为了解决这一挑战，本文提出了FailBank，一个四阶段自我演化框架，将运行时反馈转化为持久的策略改进。通过在VLA-Arena基准上进行评估，FailBank在两个难度级别和两个VLA骨干网络上均显示出显著的性能提升。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作模型在复杂环境中因策略与运行时反馈不匹配而导致的任务成功率低的问题。现有的运行时保护机制无法改变底层策略，导致持续的反馈与策略不匹配。
核心思路：FailBank框架通过将运行时反馈转化为持久的策略改进，采用四个阶段的自我演化过程，旨在提高模型的适应性和任务成功率。
技术框架：FailBank的整体架构包括四个主要阶段：收集阶段、结果感知接纳、修正目标生成和LoRA更新。固定的基于CBF的安全模块在收集阶段作为观察教师，提供反事实修正。
关键创新：FailBank的主要创新在于将运行时反馈作为持久的策略监督，而不仅仅是临时的动作约束。这种设计使得模型能够在不断的反馈中自我演化，提升策略的有效性。
关键设计：在设计中，采用了固定的CBF安全模块进行观察，利用成功的未修正动作作为LoRA更新的静默锚点，确保了有效的策略改进。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FailBank在两个VLA骨干网络上分别提升了任务成功率8.5和6.9个百分点，同时减少了政策引起的累计成本35.6%和23.8%。与运行时保护机制相比，FailBank在任务成功率上提升了25.4和9.5个百分点，且保持了相似的政策引起的累计成本。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过提高视觉-语言-动作模型在复杂环境中的适应性，FailBank框架能够显著提升机器人在动态环境中的操作能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Vision-language-action (VLA) models generalize broadly across robotic manipulation tasks, but complex environments require balancing task success with unintended contact. Runtime shields can correct individual actions, but they leave the underlying policy unchanged, so repeated disagreements may create a persistent policy-shield mismatch that blocks task progress. To address this challenge, we introduce FailBank, a four-stage self-evolving framework that converts runtime feedback into persistent policy improvement. During collection, a fixed CBF-based safety module serves as an observe-only teacher, producing counterfactual corrections while the policy remains in control. Outcome-aware admission then converts useful proposals into corrective targets and retains successful uncorrected actions as quiet anchors for guarded LoRA updates. We evaluate FailBank on the VLA-Arena benchmark across two difficulty levels and two VLA backbones. Compared with the base policies, FailBank improves the joint success-cost operating point. Across the two backbones, FailBank improves task success rate by 8.5 and 6.9 percentage points, while reducing policy-induced cumulative cost by 35.6\% and 23.8\%, respectively. Compared with runtime shielding, FailBank raises task success rate by 25.4 and 9.5 percentage points, while maintaining comparable policy-induced cumulative cost. These results show that runtime feedback can serve as persistent policy supervision rather than only as a temporary action constraint.