VLMPlanner: Integrating Visual Language Models with Motion Planning

📄 arXiv: 2507.20342v1 📥 PDF

作者: Zhipeng Tang, Sha Zhang, Jiajun Deng, Chenjie Wang, Guoliang You, Yuting Huang, Xinrui Lin, Yanyong Zhang

分类: cs.AI, cs.RO

发布日期: 2025-07-27

备注: 8 pages, 3 figures, this paper has been accepted by ACM MM 2025

💡 一句话要点

VLMPlanner：融合视觉语言模型与运动规划，提升复杂场景自动驾驶性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 运动规划 视觉语言模型 多模态融合 场景理解

📋 核心要点

  1. 现有方法依赖抽象感知或基于地图的输入，忽略了细粒度的道路线索、事故后果或意外障碍物等关键视觉信息。
  2. VLMPlanner结合实时规划器和视觉语言模型，利用VLM处理原始图像，提取视觉信息并进行常识推理，指导规划器生成安全轨迹。
  3. 提出的CAI-Gate机制能够根据场景复杂度动态调整VLM的推理频率，平衡规划性能和计算效率，并在nuPlan基准测试中表现出色。

📝 摘要（中文）

本文提出VLMPlanner，一个混合框架，将基于学习的实时规划器与能够推理原始图像的视觉语言模型（VLM）相结合。VLM处理多视角图像以捕获丰富的、详细的视觉信息，并利用其常识推理能力来指导实时规划器生成稳健且安全的轨迹。此外，本文还开发了上下文自适应推理门（CAI-Gate）机制，通过动态调整VLM的推理频率，使其能够模仿人类驾驶行为，从而在规划性能和计算效率之间实现最佳平衡。在具有挑战性的大规模nuPlan基准测试中，综合实验结果表明，该方法在复杂道路条件和动态元素场景中具有卓越的规划性能。

🔬 方法详解

问题定义：现有自动驾驶运动规划方法通常依赖于抽象的感知结果或地图信息，无法充分利用原始图像中丰富的视觉上下文，例如细粒度的道路标记、事故现场的细节以及突发的障碍物等。这些视觉信息对于在复杂驾驶环境中做出稳健的决策至关重要。因此，如何将原始视觉信息有效地融入到运动规划过程中，是本文要解决的核心问题。

核心思路：本文的核心思路是将视觉语言模型（VLM）与传统的基于学习的实时规划器相结合。VLM负责处理多视角图像，提取丰富的视觉信息，并利用其常识推理能力理解场景。然后，VLM的推理结果被用来指导实时规划器生成安全且合理的驾驶轨迹。这种结合方式既能利用VLM的视觉理解能力，又能保证规划的实时性。

技术框架：VLMPlanner的整体框架包含两个主要模块：视觉语言模型（VLM）和实时运动规划器。首先，多视角摄像头采集的图像被输入到VLM中进行处理。VLM提取图像中的视觉特征，并结合其内部的知识库进行推理，生成对当前驾驶场景的理解。然后，VLM的输出被传递给实时运动规划器，作为规划的指导信息。规划器根据VLM的指导，结合车辆的当前状态和环境信息，生成最终的驾驶轨迹。此外，CAI-Gate机制用于动态调整VLM的推理频率。

关键创新：本文的关键创新在于Context-Adaptive Inference Gate (CAI-Gate)机制。CAI-Gate能够根据场景的复杂程度动态调整VLM的推理频率。在场景简单时，VLM的推理频率较低，以减少计算量；在场景复杂时，VLM的推理频率较高，以保证规划的准确性和安全性。这种自适应的推理机制能够在规划性能和计算效率之间取得平衡，使得VLMPlanner能够在实际的自动驾驶场景中应用。

关键设计：CAI-Gate的具体实现方式未知，论文中可能没有详细描述其参数设置、损失函数或网络结构等技术细节。但可以推测，CAI-Gate可能通过某种方式评估当前场景的复杂程度（例如，通过检测到的目标数量、道路结构的复杂性等），然后根据评估结果调整VLM的推理频率。VLM的具体选择也未知，可能使用了CLIP或类似的模型。实时运动规划器可能采用了Model Predictive Control (MPC) 或其他基于优化的方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VLMPlanner在nuPlan基准测试中取得了显著的性能提升。实验结果表明，VLMPlanner在复杂道路条件和动态元素场景中的规划性能优于现有的方法。具体的性能数据和提升幅度需要在论文的实验部分查看，但摘要中明确指出VLMPlanner具有“卓越的规划性能”。

🎯 应用场景

VLMPlanner具有广泛的应用前景，可用于提高自动驾驶系统在复杂和动态环境中的鲁棒性和安全性。该方法可以应用于各种自动驾驶车辆，包括乘用车、卡车和无人配送车。此外，VLMPlanner还可以扩展到其他机器人应用领域，例如无人机导航和工业机器人控制，这些领域同样需要对复杂视觉环境进行理解和推理。

📄 摘要（原文）

Integrating large language models (LLMs) into autonomous driving motion planning has recently emerged as a promising direction, offering enhanced interpretability, better controllability, and improved generalization in rare and long-tail scenarios. However, existing methods often rely on abstracted perception or map-based inputs, missing crucial visual context, such as fine-grained road cues, accident aftermath, or unexpected obstacles, which are essential for robust decision-making in complex driving environments. To bridge this gap, we propose VLMPlanner, a hybrid framework that combines a learning-based real-time planner with a vision-language model (VLM) capable of reasoning over raw images. The VLM processes multi-view images to capture rich, detailed visual information and leverages its common-sense reasoning capabilities to guide the real-time planner in generating robust and safe trajectories. Furthermore, we develop the Context-Adaptive Inference Gate (CAI-Gate) mechanism that enables the VLM to mimic human driving behavior by dynamically adjusting its inference frequency based on scene complexity, thereby achieving an optimal balance between planning performance and computational efficiency. We evaluate our approach on the large-scale, challenging nuPlan benchmark, with comprehensive experimental results demonstrating superior planning performance in scenarios with intricate road conditions and dynamic elements. Code will be available.