Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving
作者: Yun Li, Jiachen Gong, Simon Thompson, Ehsan Javanmardi, Qunli Zhang, Zifan Zeng, Shiming Liu, Peng Wang, Zixuan Guo, Manabu Tsukada
分类: cs.RO, cs.AI
发布日期: 2026-07-20
💡 一句话要点
提出快速-慢速视觉-语言-动作推理架构以解决闭环驾驶延迟问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 闭环驾驶 视觉-语言模型 异步推理 深度学习 自动驾驶
📋 核心要点
- 现有闭环驾驶方法在推理延迟与控制频率之间存在矛盾，导致部分控制输出未能利用最新观察。
- 论文提出了一种快速-慢速架构，利用冻结的视觉-语言骨干网和轻量级动作专家，分别处理低频和高频任务。
- 实验结果显示，该系统在CARLA中实现了94.0的路线完成率，相较于基线提升了57个百分点，且在未见城镇中表现优异。
📝 摘要（中文）
大型语言模型为端到端驾驶带来了指令跟随和场景推理能力，但其推理延迟与车辆控制所需的频率存在冲突。现有闭环代理通过在交替的仿真周期调用模型并在其间重放先前命令来隐藏这一差距，导致一半的控制输出忽略最新观察。本文提出了一种快速-慢速架构，消除了这种妥协。一个冻结的7B视觉-语言骨干网作为慢速系统，以低频率处理导航指令和视觉历史，同时将每层的键值缓存作为场景的静态表示。轻量级动作专家作为快速系统，在每个仿真周期关注该缓存和当前相机帧，以单次前向传播回归航点。通过在随机过时下训练专家，使训练与异步执行对齐。在CARLA的LangAuto-Short路线中，我们的系统在每50毫秒的仿真周期内产生新鲜控制，将路线完成率从37.0提升至94.0。
🔬 方法详解
问题定义：本文旨在解决现有闭环驾驶系统中推理延迟与控制频率不匹配的问题。现有方法通过在仿真周期中交替调用模型，导致一部分控制输出未能及时反映最新的环境观察。
核心思路：论文提出的快速-慢速架构通过将视觉-语言处理与动作决策分离，允许系统在低频率下处理导航指令，同时在高频率下快速响应环境变化，从而消除推理延迟带来的影响。
技术框架：整体架构包括一个冻结的7B视觉-语言骨干网作为慢速系统，负责处理导航指令和视觉历史；一个轻量级动作专家作为快速系统，实时关注缓存和当前相机帧，进行航点回归。
关键创新：最重要的技术创新在于通过引入随机过时训练，使得动作专家能够在缓存滞后于现实世界的情况下，依然保持高效的决策能力。这种设计与传统方法的根本区别在于不再依赖于同步的模型调用。
关键设计：在训练过程中，专家在随机过时的情况下进行训练，以确保其在异步执行时的有效性。模型的每次推理时间为32毫秒，且与历史长度无关，适用于单个消费级GPU。该设计使得系统在性能和效率上达到了良好的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果表明，系统在CARLA的LangAuto-Short路线中实现了94.0的路线完成率，相较于基线的37.0提升了57个百分点。此外，专家在未见城镇中也表现出84-94%的路线完成率，显著优于基线的31-41%。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶汽车、智能交通系统和机器人导航等。通过提高车辆在复杂环境中的决策能力，能够显著提升驾驶安全性和效率，未来可能对智能交通的普及和发展产生深远影响。
📄 摘要（原文）
Large language models bring instruction following and scene reasoning to end-to-end driving, but their inference latency collides with the control rate a vehicle requires. Existing closed-loop agents hide this gap by invoking the model on alternate simulation ticks and replaying the previous command in between, so half of all control outputs ignore the newest observations. We present a fast-slow architecture that removes this compromise. A frozen 7B vision-language backbone acts as the slow system, digesting navigation instructions and visual history at low frequency while exposing its per-layer key-value cache as a standing representation of the scene. A lightweight action expert acts as the fast system, attending to this cache and to the current camera frame at every simulation tick to regress waypoints in a single forward pass. Since the cache lags behind the world at deployment, we train the expert under randomized staleness, aligning training with asynchronous execution. On LangAuto-Short routes in CARLA, our system produces fresh control at every 50 ms simulation tick and lifts route completion from 37.0 to 94.0 over the frame-skipping baseline. A frame-skip ablation with the same expert separates the two factors at work: the expert raises the driving score on its own, while per-tick freshness raises completion from 82.1 to 94.0 and cuts red-light violations by a third. Trained on a single town, the expert transfers zero-shot to two unseen towns, holding 84-94% route completion where the baseline reaches 31-41%. It reduces open-loop waypoint error by nearly a factor of four compared to the backbone's own action head, at a per-tick model cost of 32 ms that is independent of history length on a single consumer GPU.