Fast-VLA: You Only Think Once for Robot Manipulation

📄 arXiv: 2610.21389v1 📥 PDF

作者: Kehong Gong, Guanli Hou, Xiaoxu Zheng, Qi Wang, Mingxi Xu, Anbang Zhai, Xiaoyu He, Mingyuan Zhang, Michael Bi Mi

分类: cs.RO

发布日期: 2026-10-15

备注: 16 pages, 6 figures, 9 tables. Project page: https://garfield-kh.github.io/FastVLA

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Fast-VLA以提高机器人操控效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 机器人操控 任务记忆 在线执行者 高效推理

📋 核心要点

  1. 现有的视觉-语言-动作策略在每次动作预测时都需重新计算任务上下文，导致效率低下。
  2. Fast-VLA通过在每个回合中仅调用一次冻结的视觉语言模型，建立固定的任务记忆，从而提高了执行效率。
  3. 实验结果显示，Fast-VLA在多个评估任务中表现优异，并显著减少了推理时间和内存需求。

📝 摘要（中文）

视觉-语言-动作（VLA）策略通常在反馈循环中使用数十亿参数的模型，导致在每次预测新动作时都需重新计算任务上下文。然而，任务理解的变化远比机器人状态的变化要慢。为此，本文提出Fast-VLA，在每个回合中仅调用一次冻结的4B视觉语言模型（VLM），将指令和初始视图上下文化为固定的多层键值任务记忆。在执行过程中，轻量级在线执行者将学习到的时间和臂索引查询与当前的视觉和本体反馈融合，以形成动作查询。这些查询从固定记忆中检索任务上下文，并预测动作块，而无需重新运行基础模型。Fast-VLA在RoboTwin 2.0 Clean和Randomized上分别取得92.46%和92.40%的成功率，在LIBERO和LIBERO-Plus评估中分别为95.95%和79.11%。与三种持续条件基线相比，它将RoboTwin的政策推理时间减少了10.9-17.1倍，并且在线驻留内存需求为1.22 GiB。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作策略在每次预测新动作时需重复计算任务上下文的问题。这种方法导致了效率低下，尤其是在动态环境中。

核心思路：Fast-VLA的核心思路是将任务上下文在每个回合中固定下来，仅调用一次视觉语言模型（VLM），并利用轻量级在线执行者结合当前反馈进行动作预测。这种设计使得任务理解与状态反馈的处理分离，从而提高了响应速度。

技术框架：Fast-VLA的整体架构包括三个主要模块：固定的多层键值任务记忆、轻量级在线执行者和动作查询生成。首先，任务上下文通过冻结的VLM生成并存储在任务记忆中；然后，在线执行者根据当前的视觉和本体反馈生成动作查询；最后，利用这些查询从任务记忆中检索上下文并预测动作。

关键创新：Fast-VLA的关键创新在于将任务上下文的生成与动作预测过程分离，避免了重复计算。这一设计使得系统在执行过程中能够保持高效的响应能力，同时减少了对计算资源的需求。

关键设计：在参数设置上，Fast-VLA使用了4B的冻结VLM，并通过时间和臂索引查询来优化信息检索。此外，系统的在线执行者设计为轻量级，以降低内存占用，确保在执行过程中能够快速响应。整体系统的内存需求为1.22 GiB，显示出其在资源使用上的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Fast-VLA在RoboTwin 2.0 Clean和Randomized任务上分别取得92.46%和92.40%的成功率，在LIBERO和LIBERO-Plus评估中分别为95.95%和79.11%。与三种基线相比，该方法将RoboTwin的政策推理时间减少了10.9-17.1倍，展示了其显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化生产线和人机协作等场景。通过提高机器人在复杂环境中的操控效率，Fast-VLA能够显著提升自动化系统的灵活性和响应速度，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action (VLA) policies commonly place a multi-billion-parameter model inside the feedback loop, repeatedly recomputing task context whenever they predict a new action chunk. Yet task understanding changes far more slowly than the robot state. We introduce Fast-VLA, which invokes a frozen 4B VLM once per episode to contextualize the instruction and initial views as fixed, multi-layer key-value task memory. During execution, a lightweight online actor fuses learned time- and arm-indexed queries with current visual and proprioceptive feedback to form action queries. These queries retrieve task context from the fixed memory and predict action chunks without re-running the foundation model. Fast-VLA achieves 92.46% and 92.40% success on RoboTwin 2.0 Clean and Randomized, and 95.95% and 79.11% on LIBERO and LIBERO-Plus evaluation. Against three continually conditioned baselines on the same hardware, it reduces RoboTwin amortized policy inference time by 10.9-17.1x and requires 1.22 GiB of post-prefill online resident memory. Task-memory swaps further show that the actor relies on episode-matched task memory. These results show that task context can be established once while closed-loop control remains responsive throughout execution. Project page: https://garfield-kh.github.io/FastVLA