MAST-VLA: Skill-Conditioned Adaptation with Trajectory-Affordance Priors for Multi-Skill Robot Manipulation

📄 arXiv: 2610.32312v1 📥 PDF

作者: Jiachi Yang, Zhiyi Xu, Hongquan Zhang, Xin Tan, Zhizhong Zhang, Jingyu Gong, Yuan Xie

分类: cs.RO

发布日期: 2026-10-23

备注: Accepted to CoRL 2026

💡 一句话要点

提出MAST-VLA以解决多技能机器人操作中的适应性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 多技能适应 视觉-语言-动作 轨迹适应 LoRA-MoE 技能条件专家 跨场景泛化

📋 核心要点

  1. 现有的多技能VLA策略在选择执行的原始技能和物体接触及移动方式上建模不足，限制了机器人操作的灵活性和准确性。
  2. 本文提出MAST-VLA框架，通过技能条件的LoRA-MoE适配器和轨迹适应先验，增强了机器人在多技能操作中的适应能力和执行效率。
  3. 在CALVIN ABC→D设置下，MAST-VLA在五个子任务评估中达到了4.65的平均长度，显示出显著的性能提升，并在真实环境中验证了其可行性。

📝 摘要（中文）

通用机器人操作需要一个单一的视觉-语言-动作（VLA）策略来执行多样化的技能。然而，当前的多技能VLA策略在两个方面建模不足：执行哪种原始技能以及如何接触和移动物体。为此，本文提出了MAST-VLA（多技能适应与技能条件专家和轨迹适应先验），这是一个用于机器人操作的双条件框架。MAST-VLA在大型语言模型（LLM）主干中引入了技能条件的LoRA混合专家（LoRA-MoE）适配器，通过技能查询令牌和路由偏置引导低秩专家的专业化，并将预测的适应热图转换为用于动作头的补丁级轨迹适应空间先验。在CALVIN ABC→D的长时间多技能跨场景泛化设置中，MAST-VLA实现了最先进的性能，在五个子任务评估序列中达到了4.65的平均长度。实际机器人多技能序列实验进一步验证了其在真实感知和控制噪声下的可部署性。

🔬 方法详解

问题定义：本文旨在解决多技能机器人操作中对技能选择和物体操作方式建模不足的问题。现有方法未能有效处理这些关键因素，导致机器人在执行复杂任务时的灵活性和准确性不足。

核心思路：MAST-VLA框架通过引入技能条件的LoRA-MoE适配器和轨迹适应先验，旨在提升机器人在多技能操作中的适应性。技能查询令牌和路由偏置的结合使得低秩专家能够专注于特定技能的执行，从而提高操作的准确性。

技术框架：MAST-VLA的整体架构包括两个主要模块：技能条件的LoRA-MoE适配器和轨迹适应先验生成模块。前者通过技能查询令牌引导专家选择，后者将预测的适应热图转换为补丁级的轨迹先验，为动作决策提供支持。

关键创新：MAST-VLA的核心创新在于将技能条件的LoRA-MoE适配器与轨迹适应先验相结合，形成了一个双条件的适应框架。这一设计使得机器人能够在复杂环境中更好地选择和执行技能，显著提升了操作的灵活性。

关键设计：在设计中，采用了低秩专家模型以减少计算复杂度，并通过损失函数优化技能选择的准确性。此外，轨迹适应先验的生成采用了补丁级的空间表示，增强了对物体操作的精确控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CALVIN ABC→D的长时间多技能跨场景泛化设置中，MAST-VLA达到了4.65的平均长度，超越了现有基线，显示出显著的性能提升。此外，实际机器人实验验证了其在真实环境中的有效性和可部署性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等场景。MAST-VLA能够提升机器人在复杂环境中的操作能力，具有广泛的实际价值和未来影响，尤其是在需要多技能协作的任务中。

📄 摘要（原文）

Generalist robot manipulation requires a single vision-language-action (VLA) policy to execute diverse skills across scenes and instructions. However, current multi-skill VLA policies often leave two aspects of an instruction insufficiently modeled: which primitive skill to execute and where/how to contact and move objects. We propose MAST-VLA (Multi-skill Adaptation with Skill-conditioned experts and Trajectory-affordance priors), a dual-conditioning framework for robot manipulation. MAST-VLA introduces skill-conditioned LoRA Mixture-of-Experts (LoRA-MoE) adapters in the LLM backbone, where skill-query tokens and routing biases guide low-rank expert specialization, and converts a predicted affordance heatmap into a patch-level trajectory-affordance spatial prior for the action head. On the CALVIN ABC$\rightarrow$D long-horizon multi-skill cross-scene generalization setting, MAST-VLA achieves state-of-the-art performance, reaching an Avg. Len of 4.65 over five-subtask evaluation sequences. Real-robot multi-skill sequence experiments further validate its deployability under real perception and control noise.