PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models
作者: Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott, Luigi Palmieri
分类: cs.CV, cs.RO
发布日期: 2026-09-18
💡 一句话要点
提出PRIME以解决VLA模型感知反馈不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 自主驾驶 情境记忆 感知反馈 多模态学习 深度学习
📋 核心要点
- 现有的VLA模型在感知阶段未能有效利用先前的决策信息，导致推理和导航目标的盲目性。
- 本文提出PRIME，通过情境记忆机制对感知查询进行条件化，增强了感知的意图驱动性。
- 在Bench2Drive基准测试中，PRIME的驾驶得分和成功率均显著提升，展示了其有效性。
📝 摘要（中文）
当前的视觉-语言-行动（VLA）模型在自主驾驶中主要通过前馈推理进行感知、推理和规划。然而，现有架构在感知模块内保持时间递归，但早期感知对下游推理和导航目标仍然缺乏敏感性，处理视觉输入时未能优先考虑先前决策所提供的线索。为了解决这一问题，本文提出了PRIME，这是一种学习反馈机制，通过新颖的情境记忆对VLA感知查询进行条件化。PRIME通过跨注意力机制聚合过去感知、推理、导航目标和预测行为的潜在表示，从而实现意图驱动的感知注意，且仅增加最多29.7M参数（占7.3B参数基础模型的0.41%）。在Bench2Drive闭环基准测试中，PRIME实现了82.47的驾驶得分（比ORION提升4.73）和60.00%的成功率（提升5.38个百分点），是基于Think2Drive演示训练的已发布VLA中最高的驾驶得分。
🔬 方法详解
问题定义：本文旨在解决现有VLA模型在感知阶段对下游推理和导航目标缺乏敏感性的问题。现有方法在处理视觉输入时未能优先考虑先前决策的信息，导致感知的盲目性。
核心思路：PRIME通过引入情境记忆机制，聚合过去的感知、推理和导航信息，从而为感知查询提供条件化反馈。这种设计使得模型能够在感知阶段更好地关注与当前任务相关的线索。
技术框架：PRIME的整体架构包括感知模块、情境记忆模块和推理模块。感知模块负责处理视觉输入，情境记忆模块通过跨注意力机制聚合历史信息，推理模块则基于感知结果和情境记忆进行决策。
关键创新：PRIME的核心创新在于引入情境记忆机制，使得感知过程能够动态调整关注点，从而实现意图驱动的感知。这与传统的前馈推理方法形成了鲜明对比。
关键设计：PRIME仅增加了29.7M的参数，约占基础模型的0.41%。在损失函数和网络结构上，采用了跨注意力机制来实现信息的有效聚合和传递。该设计在保持计算效率的同时，显著提升了模型的性能。
🖼️ 关键图片
📊 实验亮点
PRIME在Bench2Drive基准测试中取得了82.47的驾驶得分，比ORION提升了4.73，成功率达到60.00%，提升了5.38个百分点。这些结果表明PRIME在VLA模型中的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括自主驾驶、机器人导航和智能交通系统等。通过增强感知模块的意图驱动性，PRIME能够提高自动驾驶系统在复杂环境中的决策能力，从而提升安全性和效率。未来，该方法可能在更多的多模态任务中发挥重要作用。
📄 摘要（原文）
Current Vision-Language-Action (VLA) models for autonomous driving operate primarily through feedforward inference across the perception--reasoning--planning hierarchy. While modern architectures maintain temporal recurrence within the perceptual module, early perception remains blind to downstream reasoning and navigation goals, processing visual inputs agnostically without prioritizing cues informed by prior decisions. To bridge this gap, this paper introduces PRIME, a learned feedback mechanism that conditions the VLA perceptual queries on a novel Situational Memory. By aggregating latent representations of past perception, reasoning, navigation goals, and predicted behaviors across an L-step window via cross-attention, PRIME enables intent-driven perceptual attention at minimal computational cost, adding only a maximum of 29.7M parameters (0.41% of the 7.3B-parameter base model). Evaluated on the Bench2Drive closed-loop benchmark, PRIME achieves a state-of-the-art Driving Score of 82.47 (+4.73 over ORION) and a Success Rate of 60.00% (+5.38 percentage points), the highest reported Driving Score among published VLAs trained on Think2Drive demonstrations.