Do Vision-Language-Action Models Understand Instructions? A Mechanistic Interpretability Study on Language Grounding

📄 arXiv: 2610.10178v1 📥 PDF

作者: Theodor Wulff, Angelo Cangelosi

分类: cs.RO

发布日期: 2026-10-07

💡 一句话要点

通过机制可解释性研究提升视觉-语言-动作模型的指令理解能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机制可解释性 语言基础能力 多模态学习 智能机器人 人机交互

📋 核心要点

  1. 现有的视觉-语言-动作模型缺乏明确的基础模块，导致其对语言指令的依赖性不明确。
  2. 通过对VLA模型进行机制可解释性研究，采用激活和归因修补方法分析语言基础能力。
  3. 实验结果显示，模型对空描述和方向性语言敏感性强，但对抽象重述反应较弱，揭示了模型的内部差异。

📝 摘要（中文）

视觉-语言-动作（VLA）模型旨在跨环境和任务描述进行泛化，但其动作生成是否真正依赖于语言指令仍然存在疑问。本文通过对两种先进VLA模型进行机制可解释性研究，探讨其语言基础能力。研究发现，这两种模型对抽象重述和虚构对象的引用反应较弱，但对空任务描述和方向性语言反应强烈。不同模型在动作生成过程中的敏感性表现出不同的特征，揭示了模型内部表示几何的差异。最后，归因修补的可靠性依赖于模型本身。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在指令理解方面的不足，特别是其对语言指令的依赖性不明确的问题。现有模型缺乏明确的语言基础模块，主要依赖视觉线索和表面相关性。

核心思路：通过对两种先进VLA模型（$π_{0.5}$和GR00T N1.7）进行机制可解释性研究，探讨其语言基础能力，采用激活和归因修补技术分析模型对不同类型指令的反应。

技术框架：研究采用LIBERO基准数据集，系统性地对任务指令进行五种策略的干扰，包括同义词替换、语义缩放、方向性干扰、随机对象替换和空字符串。分析模型在动作生成过程中的敏感性和反应特征。

关键创新：本研究的创新点在于通过机制可解释性方法深入分析VLA模型的语言基础能力，揭示了模型对不同类型指令的敏感性差异，尤其是对方向性语言的强反应。

关键设计：实验中采用了激活和归因修补技术，重点分析了模型在不同层次的反应特征，发现GR00T N1.7在方向性扰动下表现出较大的因果效应，而$π_{0.5}$则在不同层次的敏感性分布上有所不同。归因修补的可靠性在不同模型间存在差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，两种模型对空任务描述和方向性语言表现出强烈的敏感性，尤其是GR00T N1.7在方向性扰动下的因果效应显著，而$π_{0.5}$则在不同层次的敏感性分布上有所不同。这些发现揭示了模型内部表示的几何差异。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶和人机交互等场景，能够提升模型在复杂环境中的指令理解能力，进而增强其在实际应用中的可靠性和有效性。未来，研究成果有望推动多模态学习和人工智能系统的进一步发展。

📄 摘要（原文）

Vision-Language-Action models are designed to generalise across environments and task descriptions, raising the question of whether their action generation actually depends on the language instruction, or whether they largely rely on visual cues and superficial correlations. Robustness to variance in the visual and linguistic observation space is critical for real-world deployment, yet VLAs lack explicit grounding modules and instead rely on the intrinsic language grounding capabilities of their Vision-Language model backbones. For this reason, we conduct a controlled mechanistic interpretability study on the language grounding capabilities of two state-of-the-art Vision-Language-Action models, $π_{0.5}$ and GR00T N1.7, by applying activation and attribution patching to the residual stream of the action generation modules. We systematically corrupt the task instruction of input samples of the LIBERO benchmark following five strategies: synonym replacement, semantic scaling, directional corruption, random object substitution, and empty string. Our experiments find that both models are comparatively insensitive to abstract rephrasing and to referencing non-existent objects, but react strongly to empty task descriptions and, especially, to directional language. During action generation, this sensitivity is concentrated in different loci for each model: mainly in the early, periodic cross-attention layers for GR00T N1.7, versus distributed across the earliest and selected later layers for $π_{0.5}$. For GR00T N1.7, directional perturbations drive some of the largest causal effects while leaving the internal representational geometry comparatively unchanged, a dissociation we do not observe clearly for $π_{0.5}$. Finally, the reliability of attribution patching is model-dependent: it closely tracks activation patching for GR00T N1.7 but not for $π_{0.5}$.