FailPatch: Failure Residual Patching for Vision-Language-Action Models

📄 arXiv: 2609.34175v1 📥 PDF

作者: Peng Yu, Jiacheng Wang, Ziheng Zhang, Xuchong Zhang, Baoting Li, Zhuoyuan Yu, Yuxiang Chen, Tiancai Wang, Hongbin Sun

分类: cs.RO

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出FailPatch以解决视觉-语言-动作模型中的失败状态问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 失败状态处理 残差修补 机器人控制 自动化系统 模型可靠性 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型主要依赖成功示范进行训练，导致对失败状态的覆盖不足，影响模型的可靠性。
  2. FailPatch通过引入失败驱动的残差修补框架，解耦了动作监督与执行可靠性监督，从而提高了策略在失败状态下的表现。
  3. 在多个任务中，FailPatch显著提升了成功率，尤其是在长时间任务和真实场景中，展示了其有效性和实用性。

📝 摘要（中文）

视觉-语言-动作（VLA）策略通常依赖成功示范进行适应，但这些示范很少覆盖失败状态。部署失败暴露了这些状态，但缺乏传统监督学习所需的纠正措施。本文提出FailPatch，一个基于失败驱动的残差修补框架，解耦了动作监督与执行可靠性监督。成功示范为策略提供了行动指导，而部署轨迹则指示何时行为变得不可靠。我们观察到，动作隐藏表示在可靠与失败状态之间具有明显的线性可分性。FailPatch在冻结的VLA策略的动作隐藏空间中引入了一个空门残差专家库，并通过统一的保留-重定向-信任目标，在可靠状态下保留原始策略，在失败状态下选择残差专家，并在有限干预下将表示从失败区域重定向到成功区域。仅用0.52%的可训练参数，FailPatch在四个长时间RoboTwin任务上成功率提高了11.0个百分点，在干净到随机泛化中提高了9.5个百分点，在三个真实世界任务中相较基线提高了16.7个百分点。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在部署过程中对失败状态的处理不足，现有方法主要依赖成功示范，无法有效应对失败情况。

核心思路：FailPatch的核心思路是通过失败驱动的残差修补机制，将动作监督与执行可靠性监督解耦，利用成功示范和部署轨迹的结合来改进策略。

技术框架：FailPatch的整体架构包括三个主要模块：成功示范的动作指导、部署轨迹的可靠性指示，以及空门残差专家库的引入。通过这些模块，模型能够在不同状态下选择合适的策略。

关键创新：FailPatch的关键创新在于引入了空门残差专家库，允许在失败状态下选择适当的专家进行干预，这一机制与传统方法的直接监督方式有本质区别。

关键设计：在设计中，FailPatch仅使用0.52%的可训练参数，采用统一的保留-重定向-信任目标，确保在可靠状态下保留原策略，并在失败状态下进行有效的干预和调整。通过这种设计，模型能够在不同的状态下灵活应对。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，FailPatch在四个长时间RoboTwin任务上成功率提高了11.0个百分点，在干净到随机泛化中提高了9.5个百分点，并在三个真实世界任务中相较基线提高了16.7个百分点，展示了其显著的性能提升。

🎯 应用场景

FailPatch的研究成果在机器人控制、自动驾驶、智能助手等领域具有广泛的应用潜力。通过提高模型在复杂环境中的可靠性，该方法能够显著提升自动化系统的安全性和效率，未来可能推动更多智能系统的实际部署与应用。

📄 摘要（原文）

Vision-Language-Action (VLA) policies are typically adapted using successful demonstrations, which provide direct action supervision but rarely cover failure-prone states. Deployment failures expose these states, yet lack the corrective actions needed for conventional supervised learning. We propose FailPatch, a failure-driven residual patching framework that decouples action supervision from execution-reliability supervision. Successful demonstrations ground how the policy should act, while deployment trajectories indicate when its behavior becomes unreliable. We further observe that action hidden representations exhibit clear linear separability between reliable and failure-associated states while directly conditioning action generation. Building on these insights, FailPatch introduces a Null-gated Residual Expert Bank into the action hidden space of a frozen VLA policy. A unified Preserve--Redirect--Trust objective retains the original policy in reliable states, selects residual experts in failure-associated states and redirects representations from failure regions toward success-associated regions under bounded intervention. With only 0.52% trainable parameters, FailPatch improves success rates by 11.0 percentage points on four long-horizon RoboTwin tasks under clean evaluation, 9.5 percentage points under clean-to-random generalization, and 16.7 percentage points over the baseline across three real-world tasks. Project and code: https://github.com/yupeng-2003/FailPatch.