FastVLA: Task-Conditioned and Temporally Adaptive Visual Token Compression for Efficient Vision-Language-Action Models

📄 arXiv: 2610.22146v1 📥 PDF

作者: Jiuyi Xu, Chengyuan Qian, Zhengzhong Tu, Yang Sui, Yangming Shi

分类: cs.RO

发布日期: 2026-10-15

备注: Accepted by WACV 2027

🔗 代码/项目: GITHUB

💡 一句话要点

提出FastVLA以解决视觉-语言-动作模型的高效推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 标记压缩 动态任务 机器人操作 推理效率

📋 核心要点

  1. 现有的视觉-语言-动作模型在推理效率上存在显著不足，尤其是在处理高分辨率图像时，计算和延迟问题尤为突出。
  2. FastVLA通过任务到视觉的注意力机制评分标记重要性，并根据重要性分布的均匀性自适应设置压缩率，解决了动态标记预算的问题。
  3. 在模拟实验中，FastVLA减少了35-59%的计算量和9-32%的动作延迟，同时在真实机器人上实现了20%的端到端延迟减少。

📝 摘要（中文）

视觉-语言-动作（VLA）模型为通用机器人操作提供了有前景的范式，但在闭环部署中，推理效率常常受到限制。每个时间步，高分辨率的多视角图像被编码为数百个视觉标记，主导了变换器的计算和延迟。通过注意力机制进行标记压缩是一种自然的解决方案，但对于VLA控制而言，面临着任务驱动的决策关键标记和动态变化的标记预算等挑战。为此，本文提出了FastVLA，一个无训练、任务感知和时间自适应的视觉标记压缩框架。实验结果表明，FastVLA在多个基准测试中显著提高了效率，同时保持了任务成功率。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在推理过程中由于高分辨率图像编码导致的计算和延迟问题。现有方法在动态任务中难以有效管理标记预算，导致计算资源浪费或关键标记丢失。

核心思路：FastVLA的核心思路是通过任务感知的注意力机制来评估标记的重要性，并根据重要性分布动态调整压缩率，从而提高推理效率。

技术框架：FastVLA的整体架构包括任务到视觉的注意力评分模块和基于逆辛普森指标的在线滑动窗口校准机制。该框架在每个时间步动态评估和调整标记压缩率。

关键创新：FastVLA的主要创新在于其无训练的任务感知和时间自适应的标记压缩方法，这与现有静态压缩方法形成了鲜明对比，能够更好地适应动态任务需求。

关键设计：在设计上，FastVLA采用了逆辛普森指标来衡量重要性分布的均匀性，并通过在线滑动窗口校准来动态调整压缩率，确保关键标记不被丢弃。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在模拟实验中，FastVLA显著减少了35-59%的计算量和9-32%的动作延迟，实现了1.09到1.46倍的速度提升。在真实机器人上，端到端延迟减少了20%，同时保持了相似的任务成功率，展现了优越的效率与性能平衡。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化生产线和智能家居等场景，能够显著提高机器人在复杂环境中的操作效率和响应速度。未来，FastVLA有望在更多的多模态任务中发挥重要作用，推动智能机器人技术的发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models present a promising paradigm for general-purpose robot manipulation, but closed-loop deployment is often limited by inference efficiency: at each timestep, high-resolution, often multi-view images are encoded into hundreds of visual tokens that dominate transformer computation and latency. Token compression via attention is a natural solution but is challenging for VLA control because (1) decision-critical tokens are determined by the task, not generic visual saliency, and (2) the token budget varies substantially across steps, so static metrics and budgets waste computation or discard control-critical tokens. We introduce FastVLA, a training-free, task-aware, and temporally adaptive visual token compression framework. At each step, FastVLA scores token importance via task-to-vision attention and adaptively sets the compression rate from the importance-distribution uniformity, measured by an inverse-Simpson metric with online sliding-window calibration. We evaluate FastVLA on OpenVLA, OpenVLA-OFT, and CogACT across LIBERO and SIMPLER, and on a physical Franka Research 3 robot. In simulation, it reduces LLM-backbone FLOPs by 35-59\% and action latency by 9-32\% (a 1.09$\times$-1.46$\times$ speedup) while maintaining task success, achieving a comparable or better efficiency-performance trade-off than existing plug-and-play token compression/pruning/reuse baselines. On the real robot, it cuts end-to-end latency by 20\% (1.25$\times$ speedup) at comparable success. Code is available at https://github.com/jiuyixu25/FastVLA.