Decoupled Early Exits for Task-Dependent Compute Allocation in Flow-Matching VLAs

📄 arXiv: 2609.29382v1 📥 PDF

作者: Riccardo Andrea Izzo, Rimvydas Rubavicius, Gianluca Bardaro, Subramanian Ramamoorthy, Matteo Matteucci, Alessandro Suglia

分类: cs.RO, cs.LG

发布日期: 2026-09-24

💡 一句话要点

提出解耦早期退出机制以优化流匹配VLA的计算分配

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流匹配 视觉-语言-动作 计算资源优化 机器人控制 深度学习

📋 核心要点

  1. 现有的流匹配VLA模型由于参数众多，计算需求高，限制了其在机器人控制中的应用。
  2. 本文提出了一种新框架，通过解耦骨干深度、动作专家深度和去噪步骤，优化计算资源的分配。
  3. 实验结果显示，联合配置可将延迟降低79.2%，计算量减少31.8%，成功率提高5.6%。

📝 摘要（中文）

流匹配视觉-语言-动作（VLA）模型作为通用机器人控制的潜在解决方案，通过结合预训练的视觉-语言模型（VLM）和生成连续机器人动作的动作专家而设计。尽管这些模型展现出令人印象深刻的能力，但由于参数数量庞大，其计算需求往往对机器人控制造成负担。为了解决这一问题，本文提出了一种框架，使得VLA的骨干深度、动作专家深度和去噪步骤可以作为三个可配置的计算轴。通过在骨干和动作专家的中间层附加轻量级的退出变换器（ET），并引入KV缓存合成机制，允许动作专家在骨干层更深处退出。实验表明，最佳计算预算依赖于任务，联合配置可显著降低延迟和计算量，同时提高成功率。

🔬 方法详解

问题定义：本文旨在解决流匹配VLA模型在机器人控制中由于高计算需求而导致的效率低下问题。现有方法主要通过跳过VLM骨干层或减少去噪步骤来降低计算负担，但未能有效优化动作专家的深度。

核心思路：提出一种框架，使得VLA的骨干深度、动作专家深度和去噪步骤可以独立配置，从而根据具体任务需求灵活调整计算资源。通过在骨干和动作专家的中间层添加轻量级的退出变换器（ET），实现了对策略最后一层的蒸馏。

技术框架：整体架构包括预训练的VLA模型，附加的退出变换器，以及KV缓存合成机制。退出变换器在不同深度处进行训练，以便在计算资源有限的情况下仍能有效执行任务。KV缓存合成机制则用于管理跳过的骨干层的缺失键值。

关键创新：最重要的创新在于引入了可配置的计算轴和轻量级的退出变换器，使得动作专家可以在骨干层更深处退出，从而提升了模型的灵活性和效率。这一设计与传统方法的根本区别在于不再固定计算路径，而是根据任务需求动态调整。

关键设计：在参数设置上，SmolVLA和π_{0.5}的每个退出仅增加2.1%和4.1%的参数。损失函数设计上，确保了退出变换器能够有效蒸馏策略信息，网络结构上则通过轻量化设计保证了计算效率。整体流程通过联合配置优化了延迟和计算量。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，联合配置的计算轴在两个流匹配VLA（SmolVLA和π_{0.5}）上表现出显著的性能提升，延迟降低79.2%，计算量（FLOPs）减少31.8%，同时成功率提高5.6%。这些结果验证了方法的有效性和灵活性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化系统和智能制造等。通过优化计算资源的分配，能够提升机器人在复杂环境中的决策能力和响应速度，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Flow-matching Vision-Language-Action (VLA) models have emerged as a potential solution for generalist robot control, designed by combining a pretrained Vision-Language Model (VLM) backbone with an action expert that generates continuous robot actions. While these models exhibit impressive capabilities, due to their very high number of parameters, their computational requirements are often prohibitive for robotics control. To mitigate these inefficiencies, existing methods predominantly skip VLM backbone layers with early exits or reduce denoising steps, while leaving action expert depth untouched. We propose a framework that exposes backbone depth $V$, action expert depth $A$, and denoising steps $D$ as three jointly configurable compute axes in a VLA. Starting from a pretrained VLA, we attach lightweight Exit Transformers (ET) at intermediate depths in both the backbone and the action expert, trained to distil the last layer of the policy into each exit. Furthermore, we introduce a KV Cache synthesis mechanism that manages the missing keys and values of the skipped backbone layers, allowing the action expert to exit deeper than the backbone. Finally, we show that the optimal compute budget is task-dependent, with different tasks benefiting from different axes and depths. Notably, our method does not require training the original policy from scratch, and for each exit, it increases the number of parameters by only $2.1\%$ for SmolVLA and $4.1\%$ for $π_{0.5}$. We validate our approach across two flow-matching VLAs (SmolVLA, $π_{0.5}$) and two benchmarks (LIBERO, Meta-World), revealing complementary effects: $V$ and $A$ respectively reduce FLOPs and latency, while $D$ improves both. Our joint configurations $(V,A,D)$ reduce latency by $79.2\%$ and computation (FLOPs) by $31.8\%$, while improving mean success rate by $5.6\%$.