Less Language, More Latents: Annotation-Efficient VLAs for Driving

📄 arXiv: 2609.27747v1 📥 PDF

作者: Alexey Zakharov, Kemal Oksuz, Puneet K. Dokania

分类: cs.RO, cs.LG

发布日期: 2026-09-23

💡 一句话要点

提出LADA以解决自动驾驶中的语言标注稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 自动驾驶 潜在动作模型 语言条件控制 注释效率 深度学习 智能交通 人机交互

📋 核心要点

  1. 现有的视觉-语言-动作模型在训练中面临语言注释稀缺的问题，导致其应用受限。
  2. 本文提出LADA，通过三阶段流程将未标注的观察-轨迹对转化为可用于语言条件控制的潜在动作。
  3. 实验结果表明，LADA在使用不到5%语言注释的情况下，达到了87.98的驾驶得分和70.46%的成功率，表现优于传统方法。

📝 摘要（中文）

视觉-语言-动作模型（VLA）承诺实现人类可操控的自动驾驶，但其训练受到自然语言指令配对帧稀缺的瓶颈限制。为了解决这一挑战，本文提出了潜在动作驾驶注释（LADA），通过三阶段流程将丰富的未标注观察-轨迹对转化为语言条件控制的基础。首先，训练一个潜在动作模型，生成高层次车辆意图的紧凑代码本。其次，利用小规模的语言注释子集训练视觉-语言翻译器，将观察和语言指令映射到该代码本。最后，在完整的未标注语料上训练驾驶VLA，使用不到5%的语言注释，LADA在闭环Bench2Drive基准测试中取得了87.98的驾驶得分和70.46%的成功率，达到或超过完全监督的基线。

🔬 方法详解

问题定义：本文旨在解决自动驾驶中自然语言指令稀缺的问题，现有方法依赖大量语言注释，导致训练成本高昂且效率低下。

核心思路：LADA通过三阶段流程，将丰富的未标注数据转化为可用于训练的语言条件控制基础，减少对语言注释的依赖。

技术框架：整体架构包括三个主要阶段：首先训练潜在动作模型以生成高层次意图代码本；其次利用小规模语言注释训练视觉-语言翻译器；最后在未标注数据上训练驾驶VLA。

关键创新：LADA的核心创新在于通过潜在动作模型和视觉-语言翻译器的结合，显著降低了对语言注释的需求，提升了训练效率。

关键设计：在潜在动作模型中采用向量量化瓶颈设计，确保生成的代码本紧凑且高效；视觉-语言翻译器则通过小规模的语言注释进行训练，确保映射的准确性。实验中使用的损失函数和网络结构经过精心设计，以优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LADA在闭环Bench2Drive基准测试中取得了87.98的驾驶得分和70.46%的成功率，使用的语言注释不到5%。这一结果不仅匹配了完全监督的基线，还展示了其在语言标注稀缺情况下的有效性，具有显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和人机交互等。通过减少对语言注释的依赖，LADA能够加速自动驾驶技术的开发与部署，提升其在复杂环境中的适应能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action models (VLA) promise human-steerable autonomous driving, but their training is bottlenecked by the scarcity of frames paired with natural-language instructions: while camera streams and expert trajectories are logged at scale, language annotations (e.g., turn left at the intersection) remain scarce and expensive to acquire. To address this challenge, we introduce Latent Action Driving Annotations (LADA), a three-stage pipeline that transforms abundant unlabelled observation-trajectory pairs into a substrate for language-conditioned control. First, we train a latent action model with a vector-quantised bottleneck, producing a compact codebook of high-level vehicle intents. Second, a small language-annotated subset is used to train a vision-language translator to map observations and language instructions into this codebook. Third, we train a driving VLA on observation-latent-action pairs over the full unlabelled corpus. Using fewer than 5% of language annotations and without leveraging any auxiliary chain-of-thought reasoning or visual question answering streams, LADA achieves a Driving Score of 87.98 and a Success Rate of 70.46% on the closed-loop Bench2Drive benchmark, matching or surpassing fully supervised baselines.