GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization

📄 arXiv: 2605.12369v1 📥 PDF

作者: Xiaosong Jia, Bowen Yang, Zuhao Ge, Xian Nie, Yuchen Zhou, Cunxin Fan, Yufeng Li, Yilin Chai, Chao Jing, Zijian Liang, Qingwen Bu, Haidong Cao, Chao Wu, Qifeng Li, Zhenjie Yang, Chenhe Zhang, Hongyang Li, Zuxuan Wu, Junchi Yan, Yu-Gang Jiang

分类: cs.RO

发布日期: 2026-05-12

备注: Accepted to RSS 2026. Project page: https://guidedvla.github.io/project_page/

💡 一句话要点

GuidedVLA：通过插件式动作注意力特化引导视觉-语言-动作模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 机器人学习 注意力机制 动作解码器 辅助监督

📋 核心要点

  1. 现有VLA模型依赖端到端监督，易受视觉捷径和环境噪声干扰，泛化能力受限。
  2. GuidedVLA框架通过手动引导动作生成，使模型关注任务相关因素，提升鲁棒性。
  3. 实验表明，GuidedVLA在模拟和真实机器人环境中均优于基线，且特征质量与性能正相关。

📝 摘要（中文）

视觉-语言-动作（VLA）模型旨在通过将动作作为一种模态与强大的视觉-语言模型（VLMs）对齐来实现通用机器人学习。现有的VLA模型依赖于端到端监督来隐式地使动作解码过程学习任务相关的特征。然而，在没有明确指导的情况下，这些模型通常会过度拟合虚假的相关性，例如视觉捷径或环境噪声，从而限制了它们的泛化能力。在本文中，我们介绍了一种名为GuidedVLA的框架，旨在手动引导动作生成，使其专注于任务相关的因素。我们的核心思想是将动作解码器视为功能组件的集合，而不是一个单一的学习器。通过手动定义的辅助信号来监督各个注意力头，以捕获不同的因素。作为一个初步研究，我们用三个专门的头来实现这个范例：对象定位、空间几何和时间技能逻辑。在模拟和真实机器人实验中，与强大的VLA基线相比，GuidedVLA提高了域内和域外环境中的成功率。最后，我们表明这些专门因素的质量与任务性能呈正相关，并且我们的机制产生了解耦的、高质量的特征。我们的结果表明，明确地指导动作解码器学习是构建更鲁棒和通用的VLA模型的一个有希望的方向。

🔬 方法详解

问题定义：现有视觉-语言-动作（VLA）模型在机器人学习中，依赖端到端监督隐式学习任务相关特征，容易受到视觉捷径和环境噪声等虚假相关性的影响，导致泛化能力不足。模型难以明确关注并利用任务的关键因素，如对象定位、空间关系和时间逻辑。

核心思路：GuidedVLA的核心思想是将动作解码器分解为多个功能组件，每个组件负责学习不同的任务相关因素。通过手动定义的辅助信号，显式地引导每个注意力头学习特定的因素，例如对象定位、空间几何和时间技能逻辑。这种分解和显式引导有助于模型更好地理解任务，并减少对虚假相关性的依赖。

技术框架：GuidedVLA框架主要包含以下几个模块：1) 视觉-语言编码器：用于提取视觉和语言输入中的特征。2) 动作解码器：包含多个专门的注意力头，每个头负责学习不同的任务相关因素。3) 辅助监督模块：为每个注意力头提供手动定义的辅助信号，引导其学习特定的因素。4) 动作生成模块：根据各个注意力头的输出，生成最终的动作序列。

关键创新：GuidedVLA的关键创新在于引入了显式的动作注意力特化机制，通过手动定义的辅助信号来引导动作解码器学习任务相关的因素。与传统的端到端VLA模型相比，GuidedVLA能够更好地关注任务的关键信息，并减少对虚假相关性的依赖，从而提高模型的泛化能力。

关键设计：GuidedVLA的关键设计包括：1) 三个专门的注意力头：对象定位头、空间几何头和时间技能逻辑头。2) 辅助监督信号：为每个注意力头设计相应的辅助监督信号，例如对象定位的边界框回归损失、空间几何关系的距离损失和时间技能逻辑的序列预测损失。3) 损失函数：将动作生成损失和辅助监督损失进行加权组合，共同优化模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GuidedVLA在模拟和真实机器人实验中均取得了显著的性能提升。例如，在域内和域外环境中，GuidedVLA的成功率均高于基线模型。实验还表明，专门因素的质量与任务性能呈正相关，验证了显式引导动作解码器学习的有效性。

🎯 应用场景

GuidedVLA框架可应用于各种机器人任务，如物体抓取、导航和装配等。通过显式引导模型关注任务相关因素，可以提高机器人在复杂环境中的鲁棒性和泛化能力。该研究为构建更通用、更智能的机器人系统提供了新的思路。

📄 摘要（原文）

Vision-Language-Action (VLA) models aim for general robot learning by aligning action as a modality within powerful Vision-Language Models (VLMs). Existing VLAs rely on end-to-end supervision to implicitly enable the action decoding process to learn task-relevant features. However, without explicit guidance, these models often overfit to spurious correlations, such as visual shortcuts or environmental noise, limiting their generalization. In this paper, we introduce GuidedVLA, a framework designed to manually guide the action generation to focus on task-relevant factors. Our core insight is to treat the action decoder not as a monolithic learner, but as an assembly of functional components. Individual attention heads are supervised by manually defined auxiliary signals to capture distinct factors. As an initial study, we instantiate this paradigm with three specialized heads: object grounding, spatial geometry, and temporal skill logic. Across simulation and real-robot experiments, GuidedVLA improves success rates in both in-domain and out-of-domain settings compared to strong VLA baselines. Finally, we show that the quality of these specialized factors correlates positively with task performance and that our mechanism yields decoupled, high-quality features. Our results suggest that explicitly guiding action-decoder learning is a promising direction for building more robust and general VLA models.