GRAVA: Grounded Reasoning-to-Action Representation and Learning for Autonomous Driving

📄 arXiv: 2609.15169v1 📥 PDF

作者: Xiao Liu, Haoyu Li, Jianghao Leng, Lin Wang, Chao Sun

分类: cs.CV, cs.RO

发布日期: 2026-09-14

备注: 23 pages. Code: https://github.com/AhernResearch/grava

💡 一句话要点

提出GRAVA框架以解决自主驾驶中的推理与行动问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主驾驶 视觉-语言-行动 推理与行动 场景基础 强化学习 数据构建 决策能力 模型优化

📋 核心要点

  1. 现有的驾驶VLA模型在推理与行动之间的连接较弱，导致行为执行的有效性不足。
  2. GRAVA框架通过统一场景基础、推理和行动生成，提升了模型在复杂场景下的决策能力。
  3. GRAVA-8B在NAVSIM基准测试中实现了最先进的性能，相较于仅基于动作预测的模型，关键对象合规性和闭环驾驶得分分别提升了19.3%和20.5%。

📝 摘要（中文）

随着驾驶视觉-语言-行动（VLA）模型在行动前进行推理，但其推理过程常常缺乏与物理场景证据的紧密联系，且与可执行行为的关联性较弱。本文提出了GRAVA框架，围绕“基于场景的推理到行动”（GRA）构建，统一了场景基础、推理和行动生成。GRA将与行动相关的语言引用链接到2D视觉区域和自我中心的物理状态，组织对象交互和决策于基于轨迹的类型图中，并将该结构序列化为有根据的推理。通过引入代理GRA数据构建管道，结合前向场景基础和后向轨迹锚定，构建了包含220万对有根据的问题-答案对和7万条GRA推理轨迹的GR-NavSim。采用渐进式训练策略，通过预训练发展有根据的认知，通过模仿建立推理到行动的接口，并通过强化学习和探索改善驾驶行为。

🔬 方法详解

问题定义：本文旨在解决现有驾驶模型在推理与行动之间缺乏有效连接的问题，导致执行行为的有效性不足。现有方法在物理场景证据的利用上存在短板。

核心思路：GRAVA框架通过“基于场景的推理到行动”（GRA）方法，将推理与可执行行为紧密结合，提升了模型的决策能力和执行效率。

技术框架：GRAVA的整体架构包括三个主要模块：场景基础、推理生成和行动规划。首先，模型通过视觉输入进行场景基础，然后进行推理，最后生成可执行的行动轨迹。

关键创新：GRAVA的核心创新在于将推理与行动生成整合为一个自回归流，确保了推理过程与物理场景的紧密联系，显著提升了模型的执行能力。

关键设计：在模型设计中，采用了渐进式训练策略，结合前向场景基础和后向轨迹锚定，使用了特定的损失函数来优化推理与行动的接口。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GRAVA-8B在NAVSIM基准测试中达到了最先进的性能，使用约60%的可用人类驾驶示范进行动作监督。相比于仅基于动作预测的模型，GRAVA在关键对象合规性和闭环驾驶得分上分别提升了19.3%和20.5%，显示了基于场景的推理对行动生成的显著贡献。

🎯 应用场景

GRAVA框架在自主驾驶领域具有广泛的应用潜力，能够提升自动驾驶系统在复杂环境中的决策能力和执行效率。其方法可以推广至其他需要视觉和语言理解的智能系统，如机器人导航和人机交互等领域，未来可能对智能交通系统和自动驾驶技术的发展产生深远影响。

📄 摘要（原文）

Driving vision-language-action (VLA) models increasingly reason before acting, but their intermediate reasoning is often weakly grounded in physical scene evidence and loosely connected to executable behavior. We present GRAVA, a framework built around Grounded Reasoning-to-Action (GRA), which unifies grounding, reasoning, and action generation in a single autoregressive stream. GRA links action-relevant language references to 2D visual regions and ego-centric physical states, organizes object interactions and decisions in a trajectory-anchored typed graph, and serializes this structure into grounded reasoning. A single VLM generates this reasoning followed by a compact Executable Planner action that is deterministically decoded into a continuous trajectory. We further introduce an agentic GRA data construction pipeline that combines forward scene grounding with backward trajectory anchoring, and use it to build GR-NavSim with 2.2M grounded question-answer pairs and 70K GRA reasoning traces. A progressive training strategy develops grounded cognition through pre-training, establishes the reasoning-to-action interface through imitation, and improves driving behavior through reinforcement learning and exploration. Using about 60% of the available human driving demonstrations for action supervision, GRAVA-8B achieves state-of-the-art performance among purely autoregressive driving models on the full NAVSIM benchmark. On an internal long-tail benchmark, full GRA improves key-object compliance and Closed-loop Driving Score by 19.3% and 20.5% over action-only prediction, respectively. These results show the benefit of preserving action-relevant physical evidence from grounded reasoning through executable action generation.