When Instructions Retrieve Trajectories: Diagnosing and Mitigating Generalization Failures in VLA Models
作者: Hung-Jen Chen, Yu-Hsun Hou, Yan-Hong Chen, Yan-Fu Chen, Binghua Cai, Min Sun, Chun-Yi Lee
分类: cs.RO, cs.LG
发布日期: 2026-09-30
💡 一句话要点
提出等变反事实训练以解决VLA模型的指令-动作绑定问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 反事实训练 多模态学习 模型泛化 机器人控制
📋 核心要点
- 现有的VLA模型在面对反事实变化时，常常无法正确选择所需的动作，导致指令-动作绑定失败。
- 论文提出等变反事实训练（ECT），通过提供不同场景下相同指令对应不同动作的有效演示来解决这一问题。
- 实验表明，ECT显著提升了模型的成功率，例如在LIBERO-PRO上从36%提升至59%，在真实环境中从8%提升至88%。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在分布内任务上可达90%以上的成功率，但在需要不同动作的反事实变化下表现不佳。本文提出的指令-动作绑定问题，表明模型在响应语言和视觉时未能有效结合以选择所需动作。通过行为分析，发现模型在失败的情况下往往保留源行为或切换到其他演示任务。为此，提出等变反事实训练（ECT），通过提供有效演示和训练损失来提升模型性能。实验结果显示，ECT显著提高了模型在不同场景下的成功率。
🔬 方法详解
问题定义：本文解决的是视觉-语言-动作（VLA）模型在反事实变化下的指令-动作绑定失败问题。现有方法在面对需要不同动作的情况时，往往无法有效结合语言和视觉信息，导致模型表现不佳。
核心思路：论文提出等变反事实训练（ECT），其核心思想是通过提供有效的演示，使得相同指令在不同场景下对应不同动作，从而增强模型的泛化能力。这样的设计旨在让模型学习到更为丰富的动作选择策略。
技术框架：ECT的整体架构包括两个主要模块：一是生成有效的演示数据，二是通过特定的损失函数进行训练。演示数据中，相同的指令在不同场景下需要不同的动作，而损失函数则确保每次更新都考虑到这些对应关系。
关键创新：ECT的最大创新在于其训练过程中引入了反事实的概念，使得模型能够在不同场景中学习到相同指令的多样化动作选择。这与传统方法的单一动作选择形成了鲜明对比。
关键设计：在ECT中，损失函数设计为考虑每个演示及其对应的反事实演示，以确保模型在训练过程中能够有效学习到指令与动作之间的复杂关系。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，等变反事实训练（ECT）在LIBERO-PRO上将模型的平均位置交换成功率从36%提升至59%，在CALVIN任务中，利用原始数据中的对应关系，ECT损失提升了五项任务的完成率。在真实UR5e环境中，ECT使得未见位置的成功率从8%提升至88%。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、智能助手等多模态交互系统。通过提升VLA模型在复杂环境中的决策能力，能够显著提高这些系统的智能化水平和用户体验。未来，该方法可能推动更广泛的智能系统在动态和不确定环境中的应用。
📄 摘要（原文）
Vision-language-action (VLA) models can exceed 90% success on in-distribution tasks and withstand nuisance changes that preserve the required action, yet fail under counterfactual changes that demand a different action. Aggregate robustness scores can therefore conceal a more specific failure, in which a policy responds to both language and vision yet does not combine them to select the action the task requires. We call this failure instruction-action binding. Instructions cue familiar trajectory families, and visual feedback adjusts their execution. Behavioral analyses of fine-tuned $π_{0.5}$ and GR00T-N1.7 policies reveal that failed rollouts often retain the source behavior or switch to another demonstrated task. These switches show that language is not simply ignored. Readouts and interventions connect these choices to task-conditioned internal states. Our analysis of the imitation objective shows how narrow conditional action support can leave grounded and instruction-keyed solutions indistinguishable on the demonstrations. This motivates Equivariant Counterfactual Training (ECT), which acts at two levels. ECT data supply valid demonstrations in which the same instruction requires different actions in distinguishable scenes, while the ECT loss trains each demonstration with its counterpart in the same update. In a controlled LIBERO-PRO comparison, full ECT raises $π_{0.5}$'s mean position-swap success from 36% to 59%. On CALVIN, where counterparts already occur in the original data, the ECT loss improves five-task completion without new demonstrations. On a real UR5e under a fixed demonstration budget, full ECT raises unseen-position success from 8% to 88%.