Do VLAs Really Follow Instructions? Diagnosing How-Level Instruction Following in Vision-Language-Action Models

📄 arXiv: 2610.21251v1 📥 PDF

作者: Sangwu Park, Wonjoong Kim, Yeonjun In, Chanyoung Park

分类: cs.CV, cs.RO

发布日期: 2026-10-15

备注: Preprint

💡 一句话要点

提出改进方法以解决视觉语言行动模型的指令遵循问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言行动 指令遵循 多模态学习 模型训练 任务成功率

📋 核心要点

  1. 核心问题：现有的视觉语言行动模型在遵循How级指令时表现不佳，且任务成功率降低。
  2. 方法要点：提出使用分段丰富指令进行训练，以提高模型对How级指令的响应能力。
  3. 实验或效果：引入SIMPLER-IN评估指令遵循能力，发现响应性未能扩展到更复杂的指令。

📝 摘要（中文）

视觉语言行动（VLA）模型被期望能够遵循指令，但以往研究主要集中在指定任务的What级指令上，而非如何执行的How级指令。通过诊断，我们发现How级指令并未帮助当前的VLA模型，反而降低了任务成功率。我们假设每个训练阶段配对单一指令限制了How级指令的遵循，提出使用分段丰富指令进行训练，使得动作能够响应这些指令，但并未显著提高任务成功率。为衡量How级指令遵循能力，我们引入了SIMPLER-IN，要求成功条件仅在指令中给出，结果显示获得的响应性并未扩展到更具挑战性或超分布的How级指令。因此，How级指令遵循仍然是一个开放的挑战。

🔬 方法详解

问题定义：论文要解决的问题是现有视觉语言行动模型在遵循How级指令时的低效能，尤其是单一指令配对导致的限制。

核心思路：通过引入分段丰富指令的训练方法，旨在提升模型对How级指令的响应能力，使其能够更好地执行复杂任务。

技术框架：整体架构包括数据预处理、模型训练和评估三个主要阶段。数据预处理阶段引入丰富的指令信息，模型训练阶段采用新的损失函数以优化指令遵循能力，评估阶段使用SIMPLER-IN进行性能测试。

关键创新：最重要的技术创新在于引入分段丰富指令的训练策略，这与传统的单一指令训练方法本质上不同，能够更好地捕捉任务执行中的细节。

关键设计：在训练过程中，采用了新的损失函数设计，以鼓励模型在执行过程中对指令的响应，同时调整了网络结构以适应更复杂的指令输入。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用分段丰富指令训练的模型在标准基准测试中表现出一定的响应性提升，但在面对更复杂的How级指令时，响应性未能显著提高，表明该领域仍需进一步研究。

🎯 应用场景

该研究的潜在应用领域包括智能助手、机器人控制和自动化系统等，能够提升这些系统在复杂任务中的指令遵循能力，进而提高其智能化水平和用户体验。未来，随着指令理解能力的提升，VLA模型有望在更多实际场景中得到应用。

📄 摘要（原文）

Vision-language-action (VLA) models are expected to follow instructions like their language backbones, yet prior work has focused on What-level instructions that specify the task rather than How-level instructions that specify how to carry it out. Through our diagnoses, we find that How-level instructions do not help current VLAs and lower task success. We hypothesize that pairing each training episode with a single instruction limits How-level instruction following, and show that training with segment-level enriched instructions makes actions respond to such instructions without consistently raising task success. To measure How-level instruction following beyond standard benchmarks, we introduce SIMPLER-IN, where success requires conditions given only in the instruction. It shows that the gained responsiveness does not extend to demanding or out-of-distribution How-level instructions. How-level instruction following thus remains an open challenge.