FIVE-VLA: Fast and EffectIVE Autonomous Driving with Recurrent Action Memory

📄 arXiv: 2609.18623v1 📥 PDF

作者: Kemal Oksuz, Alexandru Buburuzan, Yuhan Yao, Puneet K. Dokania

分类: cs.CV, cs.RO

发布日期: 2026-09-16

💡 一句话要点

提出FIVE-VLA以解决自主驾驶中的高参数与记忆不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 视觉-语言-动作 高效编码器 递归动作记忆 交通安全 边缘计算 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在自主驾驶中存在参数过多和处理效率低的问题，且缺乏时间记忆能力。
  2. 本文提出FIVE-VLA，通过高效视觉编码器和递归动作记忆模块来优化高分辨率图像处理和动作预测。
  3. 实验结果表明，FIVE-VLA在多个基准测试中表现优越，完成更多路线且碰撞违规率显著降低。

📝 摘要（中文）

现有的视觉-语言-动作（VLA）模型在自主驾驶中面临着参数过多、高分辨率图像处理效率低以及缺乏时间记忆等关键限制。为此，本文提出了快速有效的VLA（FIVE-VLA），通过两个主要贡献来解决这些问题。首先，采用高效的视觉编码器处理高分辨率（448×896）图像，仅生成98个token，减少了超过5倍的参数，并且在单次预测轨迹时完全跳过文本生成。其次，提出了递归动作记忆（RAM）模块，使动作预测能够基于之前的动作token进行条件化，为超车和紧急制动等机动提供了重要的时间上下文。FIVE-VLA在Bench2Drive闭环驾驶基准测试中，完成的路线比之前的VLA多约10%，且无交通规则违规。非反应式的开放环模拟在大规模真实世界NVIDIA Physical AI AV数据集上显示，单视图和四视图设置下的碰撞违规率分别比SimLingo低10.2%和7.7%。此外，FIVE-VLA在A100上运行约30 fps，在T4 GPU（边缘设备的代理）上运行约4 fps，相比于之前的方法实现了8-30倍的速度提升。

🔬 方法详解

问题定义：现有的视觉-语言-动作（VLA）模型在自主驾驶中面临着参数过多、高分辨率图像处理效率低和缺乏时间记忆等问题，限制了其在复杂环境中的应用。

核心思路：本文提出FIVE-VLA，通过引入高效的视觉编码器和递归动作记忆（RAM）模块，旨在减少参数数量并增强时间上下文的利用，从而提高自主驾驶的决策能力。

技术框架：FIVE-VLA的整体架构包括高效视觉编码器、递归动作记忆模块和动作预测模块。视觉编码器负责处理高分辨率图像并生成少量token，RAM模块则利用历史动作信息来增强当前动作的预测。

关键创新：FIVE-VLA的主要创新在于其高效的视觉编码器能够在处理高分辨率图像时显著减少生成的token数量，同时引入RAM模块为动作预测提供了必要的时间上下文，这在现有方法中是缺乏的。

关键设计：在设计上，FIVE-VLA的视觉编码器仅生成98个token，参数量仅为641M，且在单次预测中跳过文本生成，极大提高了处理效率。RAM模块则通过条件化历史动作token来增强当前动作的决策能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FIVE-VLA在Bench2Drive闭环驾驶基准测试中比之前的VLA多完成约10%的路线，且在NVIDIA Physical AI AV数据集上，单视图和四视图设置下的碰撞违规率分别比SimLingo低10.2%和7.7%。此外，FIVE-VLA在A100上运行约30 fps，在T4 GPU上运行约4 fps，实现了8-30倍的速度提升。

🎯 应用场景

FIVE-VLA的研究成果在自主驾驶领域具有广泛的应用潜力，能够提高自动驾驶系统在复杂交通环境中的决策能力和安全性。其高效的处理能力和低参数设计使其适合在边缘设备上部署，推动智能交通系统的发展。

📄 摘要（原文）

State-of-the-art vision-language-action models (VLA) for autonomous driving face critical limitations: excessive parameter counts, inefficient high-resolution image processing, and lack of temporal memory. We introduce Fast and EffectIVE VLA (FIVE-VLA) to address these through two key contributions. First, we employ an efficient vision encoder that processes high-resolution ($448 \times 896$) images while generating only 98 tokens, over $5\times$ fewer than existing approaches, and bypass text generation entirely for single-pass trajectory prediction. Second, we propose Recurrent Action Memory (RAM), a lightweight module that conditions action prediction on previous action tokens, providing temporal context critical for manoeuvres such as overtaking and emergency braking. With only 641M parameters, FIVE-VLA completes $\sim$10% more routes without traffic rule infractions than the previous state-of-the-art VLA on the challenging Bench2Drive closed-loop driving benchmark. Non-reactive open-loop simulation on the large-scale real-world NVIDIA Physical AI AV dataset shows 10.2% and 7.7% lower collision-violation rates than SimLingo in single- and four-view settings, respectively. Additionally, FIVE-VLA runs at $\sim$30 fps on an A100 and $\sim$4 fps on a T4 GPU (proxy to an edge device), representing an 8-30$\times$ speedup over previous methods.