Encoded but Not in Control: Revealing the Grounding Gap in Vision-Language Robot Policies
作者: Shaohan Jiang, Jiahang Cao, Qiduo He, Fengting Deng, Kun Wu, Jingkai Sun, Jiaxu Wang, Qiang Zhang, Qihao Zheng, Chunfeng Song, Ping Luo, Andrew F. Luo
分类: cs.RO, cs.LG
发布日期: 2026-10-05
备注: 30 pages, 7 figures
💡 一句话要点
揭示视觉-语言机器人策略中的基础差距问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言 机器人策略 指令遵循 基础差距 多模态学习 注意力机制 任务执行
📋 核心要点
- 现有的视觉-语言机器人策略在执行指令时，未能有效区分任务成功与指令遵循之间的关系。
- 论文通过场景保持的指令干预，分析了指令对任务执行的影响，提出了新的评估框架。
- 实验结果表明，尽管策略在某些情况下表现良好，但在指令变化时未能有效调整行为，揭示了基础差距问题。
📝 摘要（中文）
本研究聚焦于语言条件下的机器人策略，探讨指令执行是否真正反映了对指令的遵循。通过场景保持的指令干预，评估视觉-语言-行动（VLA）策略和世界-行动模型（WAMs）的表现。研究发现，任务成功并不意味着指令遵循，且语言敏感性不足导致策略未能有效控制行动。通过注意力分析和表示学习，揭示了目标编码与视觉基础之间的差距，为未来的研究提供了诊断框架和进展标准。
🔬 方法详解
问题定义：本研究旨在解决视觉-语言机器人策略在执行指令时存在的基础差距问题。现有方法未能有效区分任务成功与指令遵循，导致策略在面对不同指令时表现不佳。
核心思路：通过场景保持的指令干预，使用有效的目标替换、任意名词和无关句子，分析指令对任务执行的影响，揭示语言编码与行动控制之间的差距。
技术框架：整体框架包括三个主要模块：场景保持的指令干预、视觉-语言-行动策略评估和注意力分析。通过这些模块，研究评估了不同指令对策略表现的影响。
关键创新：本研究的创新点在于提出了一种新的诊断框架，揭示了策略在执行指令时的基础差距，强调了指令变化对行为调整的重要性。
关键设计：在实验中，采用了层次化的动作预测和线性探测器，以准确恢复指令目标，并通过注意力分析揭示了目标编码与视觉基础之间的弱关联。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当指令要求不同的可见对象时，所有评估的策略主要选择了与场景相关的错误目标，表明指令遵循能力不足。此外，注意力分析显示，指令标记对行动生成的贡献较弱，揭示了目标编码与视觉基础之间的显著差距。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶和人机交互等。通过改进机器人对语言指令的理解和执行能力，可以提升其在复杂环境中的适应性和灵活性，推动智能系统的实际应用和发展。
📄 摘要（原文）
Instruction following is central to language-conditioned robot policies: language should determine what to do when the same scene permits multiple valid actions. Yet successful execution alone cannot establish whether a policy follows the instruction or infers the task from the scene. We study this ambiguity through scene-preserving instruction interventions, using valid target substitutions, arbitrary nouns, and unrelated sentences while holding the scene fixed. We evaluate vision-language-action (VLA) policies and world-action models (WAMs) in simulation and in real-world experiments. Our analysis addresses three questions: (a) Does task success imply instruction following? When instructions request a different visible object, all evaluated policies predominantly approach and pick up the incorrect original target associated with the scene. (b) Is this failure caused by language insensitivity? Instruction perturbations affect task performance. A layerwise action lens shows intermediate action predictions respond to these perturbations. Linear probes accurately recover instructed targets, indicating modified instructions are encoded despite rarely determining target selection. (c) Why does encoded language fail to control action? Attention analysis indicates weak instruction-token contributions to action generation. Target-token attention can remain focused on the original object, revealing a mismatch between target encoding and visual grounding. UMAP and shared non-negative matrix factorization show target information remains accessible within representations increasingly organized by scene identity. Our findings expose a grounding gap concealed by nominal success and provide a diagnostic framework. They further establish a concrete criterion for progress: policies should reliably follow valid changes in user intent, even when they conflict with scene-favored behavior.