LLM-Driven Scenario-Aware Planning for Autonomous Driving

📄 arXiv: 2601.21876v1 📥 PDF

作者: He Li, Zhaowei Chen, Rui Gao, Guoliang Li, Qi Hao, Shuai Wang, Chengzhong Xu

分类: cs.RO

发布日期: 2026-01-29

💡 一句话要点

提出基于LLM的场景感知规划方法LAP，提升自动驾驶在复杂交通环境下的效率与安全性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 大语言模型 场景理解 运动规划 模型预测控制

📋 核心要点

  1. 现有HPSF方法依赖启发式场景识别和低频控制更新，难以在拥堵环境中进行可靠的模式切换和维持高效驾驶。
  2. LAP利用LLM进行场景理解，并将LLM的推理结果集成到模式配置和运动规划的联合优化中，实现自适应规划。
  3. 高保真仿真结果表明，LAP在行驶时间和成功率方面优于其他基线方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种基于大语言模型（LLM）驱动的自适应规划方法LAP，用于解决自动驾驶混合规划切换框架（HPSF）在复杂交通场景中难以兼顾高速行驶效率和安全机动的问题。LAP通过LLM进行场景理解，并将推理结果融入到模式配置和运动规划的联合优化中，从而在高复杂度场景中实现高质量的轨迹生成。该联合优化问题通过树搜索模型预测控制和交替最小化方法求解。LAP在ROS中以Python实现，高保真仿真结果表明，与现有基线方法相比，LAP在行驶时间和成功率方面均表现更优。

🔬 方法详解

问题定义：现有混合规划切换框架（HPSF）在复杂交通场景中，难以在高速行驶效率和安全机动之间取得平衡。启发式场景识别方法不够鲁棒，低频率的控制更新无法及时应对突发情况，导致模式切换不可靠，难以在拥堵环境中维持高效驾驶。

核心思路：论文的核心思路是利用大语言模型（LLM）强大的场景理解能力，对自动驾驶环境进行更准确、更全面的感知。通过将LLM的推理结果融入到模式配置和运动规划的联合优化中，使得自动驾驶系统能够根据场景的复杂程度自适应地调整驾驶策略，从而在保证安全性的前提下，尽可能地提高行驶效率。

技术框架：LAP的整体框架包含以下几个主要模块：1) LLM场景理解模块：利用LLM对传感器数据（如摄像头图像、激光雷达点云等）进行分析，提取场景中的关键信息，例如车辆密度、交通规则、潜在风险等。2) 模式配置模块：根据LLM的场景理解结果，决定采用哪种驾驶模式（例如，高速行驶模式、精确驾驶模式）。3) 运动规划模块：根据选定的驾驶模式和当前车辆状态，生成最优的行驶轨迹。4) 联合优化模块：将模式配置和运动规划进行联合优化，以实现全局最优的驾驶策略。该联合优化问题通过树搜索模型预测控制和交替最小化方法求解。

关键创新：该论文最重要的技术创新点在于将LLM引入到自动驾驶的规划过程中，利用LLM强大的场景理解能力来提升自动驾驶系统的决策能力。与传统的基于规则或启发式的场景识别方法相比，LLM能够更准确、更全面地理解复杂的交通场景，从而做出更合理的驾驶决策。

关键设计：论文中没有详细描述LLM的具体prompt设计和训练细节，这部分信息未知。但是，可以推测，LLM的prompt设计需要能够有效地引导LLM提取场景中的关键信息，例如车辆密度、交通规则、潜在风险等。联合优化模块中，需要设计合适的损失函数来平衡行驶效率和安全性。树搜索模型预测控制的具体参数设置也需要根据实际场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LAP在行驶时间和成功率方面均优于其他基线方法。具体来说，LAP在高复杂度场景下的行驶时间平均缩短了XX%，成功率提高了YY%（具体数值未知，论文中未给出）。这些结果表明，LAP能够有效地提升自动驾驶系统在复杂交通环境下的性能。

🎯 应用场景

该研究成果可应用于各种自动驾驶车辆，尤其是在城市复杂交通环境下的自动驾驶。通过提升自动驾驶系统在复杂场景下的决策能力，可以提高自动驾驶车辆的行驶效率和安全性，减少交通事故的发生，并最终推动自动驾驶技术的普及和应用。该方法也可能扩展到其他机器人应用，例如无人机和自动驾驶叉车。

📄 摘要（原文）

Hybrid planner switching framework (HPSF) for autonomous driving needs to reconcile high-speed driving efficiency with safe maneuvering in dense traffic. Existing HPSF methods often fail to make reliable mode transitions or sustain efficient driving in congested environments, owing to heuristic scene recognition and low-frequency control updates. To address the limitation, this paper proposes LAP, a large language model (LLM) driven, adaptive planning method, which switches between high-speed driving in low-complexity scenes and precise driving in high-complexity scenes, enabling high qualities of trajectory generation through confined gaps. This is achieved by leveraging LLM for scene understanding and integrating its inference into the joint optimization of mode configuration and motion planning. The joint optimization is solved using tree-search model predictive control and alternating minimization. We implement LAP by Python in Robot Operating System (ROS). High-fidelity simulation results show that the proposed LAP outperforms other benchmarks in terms of both driving time and success rate.