AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning

📄 arXiv: 2607.15714 📥 PDF

作者: Xiaojiang Peng, Kai Peng, Jie Lu, Zheng Lian, Zitong YU, Xiaobo Wang

分类: cs.RO

发布日期: 2026-07-20

💡 一句话要点

提出AC-VLA以解决机器人操作中的OOD泛化问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人操作 OOD泛化 组合学习 多模态融合

📋 核心要点

  1. 现有VLA模型在处理未见配置的组合子任务时，面临轨迹过拟合和感知捷径等问题，导致OOD泛化能力不足。
  2. AC-VLA框架通过引入指令分解和状态条件掩蔽策略，增强了模型的组合泛化能力和全局语义基础。
  3. 在LIBERO和LIBERO-OOD基准测试中，AC-VLA在组合OOD任务上实现了约28%的性能提升，同时保持了分布内的高性能。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在端到端的机器人操作中表现优异，但在面对未见配置的组合子任务时，存在OOD泛化能力不足的问题。本文识别了两种相互促进的失败模式：轨迹过拟合和感知捷径。为了解决这些问题，提出了AC-VLA框架，包括一个基于大语言模型的指令分解器和一个状态条件的不对称掩蔽策略。实验结果表明，AC-VLA在LIBERO和LIBERO-OOD基准测试中，组合OOD任务的绝对性能提升约28%，同时保持近乎完美的分布内性能。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作（VLA）模型在面对未见配置的组合子任务时的OOD泛化能力不足问题。现有方法存在轨迹过拟合和感知捷径的缺陷，导致模型在新任务上的表现不佳。

核心思路：AC-VLA框架的核心在于通过引入指令分解和状态条件掩蔽策略，增强模型对组合子任务的理解和全局语义的把握，从而提高OOD泛化能力。

技术框架：AC-VLA包含两个主要模块：一个基于大语言模型的指令分解器和一个状态条件的不对称掩蔽策略。指令分解器生成密集的子任务监督，而掩蔽策略在闭合抓握阶段抑制手腕视图输入，确保全局语义的基础。

关键创新：AC-VLA的主要创新在于其架构无关性，所有组件均可直接集成到任何VLA骨干网络中，且不需要对现有架构进行修改。这种设计使得AC-VLA具有广泛的适用性和灵活性。

关键设计：在设计中，指令分解器利用大语言模型进行任务分解，结合本体感知轨迹对齐生成子任务监督。掩蔽策略则通过状态条件控制输入，确保模型在执行任务时关注全局语义而非局部特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LIBERO和LIBERO-OOD基准测试中，AC-VLA在组合OOD任务上实现了约28%的绝对性能提升，显著优于现有方法，同时在分布内任务上保持了近乎完美的表现，展示了其在实际应用中的有效性。

🎯 应用场景

AC-VLA框架在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提升模型在复杂环境中的OOD泛化能力，AC-VLA能够使机器人更好地适应多变的任务配置，提升操作的灵活性和可靠性。未来，该方法还可能推动更复杂的多模态交互和自主学习系统的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models excel at end-to-end robotic manipulation but struggle with out-of-distribution (OOD) generalization when familiar sub-tasks are recombined in unseen configurations. We identify two mutually reinforcing failure modes: \emph{trajectory overfitting}, where models overfit to holistic trajectory patterns rather than compositional sub-skill semantics; and \emph{perceptual shortcut}, where action tokens over-rely on wrist-view textures at the expense of global spatial grounding. To address both, we introduce \textbf{AC-VLA}, a plug-and-play Action Compositional learning framework comprising two architecture-agnostic components: \textbf{(i)} a compositional learning module that uses an LLM-driven instruction decomposer and a proprioceptive trajectory aligner to generate dense sub-task supervision, followed by mixed training on complete demonstrations and decomposed data to endow the model with compositional generalization; and \textbf{(ii)} a state-conditioned asymmetric masking strategy that suppresses wrist-view inputs during closed-gripper phases, enforcing global semantic grounding. All components are architectural modification-free and directly integrable into any VLA backbone. Instantiated on $\pi_{0.5}$ and evaluated on LIBERO and LIBERO-OOD benchmarks, AC-VLA achieves a ~28% absolute improvement on compositional OOD tasks while maintaining near-perfect in-distribution performance.