Asynchronous Large Language Model Enhanced Planner for Autonomous Driving

📄 arXiv: 2406.14556v3 📥 PDF

作者: Yuan Chen, Zi-han Ding, Ziqin Wang, Yan Wang, Lijun Zhang, Si Liu

分类: cs.RO, cs.CV

发布日期: 2024-06-20 (更新: 2024-07-24)

备注: ECCV 2024

💡 一句话要点

提出AsyncDriver，利用异步LLM增强的规划器提升自动驾驶性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 大型语言模型 运动规划 异步架构 闭环控制

📋 核心要点

  1. 现有基于LLM的自动驾驶规划器存在资源消耗高、推理时间长的问题，难以实际部署。
  2. AsyncDriver通过异步方式解耦LLM和实时规划器的推理过程，降低计算成本。
  3. 实验表明，AsyncDriver在nuPlan的复杂场景中实现了优越的闭环评估性能。

📝 摘要（中文）

尽管实时规划器在自动驾驶中表现出色，但对大型语言模型（LLM）的探索为增强运动规划的可解释性和可控性开辟了新途径。然而，基于LLM的规划器仍然面临着资源消耗高和推理时间长等重大挑战，这给实际部署带来了实质性障碍。针对这些挑战，我们提出了一种新的异步LLM增强闭环框架AsyncDriver，旨在利用LLM生成的场景相关指令特征来指导实时规划器做出精确且可控的轨迹预测。一方面，我们的方法突出了LLM在理解和推理矢量化场景数据以及一系列路由指令方面的能力，展示了其对实时规划器的有效辅助。另一方面，所提出的框架解耦了LLM和实时规划器的推理过程。通过利用它们推理频率的异步性，我们的方法成功地降低了LLM引入的计算成本，同时保持了相当的性能。实验表明，我们的方法在nuPlan的具有挑战性的场景中实现了卓越的闭环评估性能。

🔬 方法详解

问题定义：论文旨在解决基于LLM的自动驾驶规划器在实际部署中面临的计算资源消耗过高和推理时间过长的问题。现有方法虽然利用LLM增强了规划器的可解释性和可控性，但LLM本身的计算复杂度成为了瓶颈，限制了其在实时性要求高的自动驾驶场景中的应用。

核心思路：AsyncDriver的核心思路是利用LLM和实时规划器在推理频率上的差异，采用异步的方式运行两者。LLM负责提供高层次的场景理解和指令，而实时规划器则负责快速生成具体的轨迹。通过解耦这两个过程，可以避免LLM的计算负担直接影响实时规划器的性能。

技术框架：AsyncDriver是一个闭环框架，包含以下主要模块：1) LLM模块：负责接收矢量化的场景数据和路由指令，输出场景相关的指令特征。2) 实时规划器模块：接收LLM的指令特征和传感器数据，生成车辆的轨迹。3) 异步调度模块：负责协调LLM和实时规划器的运行，确保LLM的输出能够及时地指导实时规划器，同时避免LLM的计算负担影响实时规划器的实时性。

关键创新：AsyncDriver的关键创新在于其异步的架构设计。通过将LLM的推理过程与实时规划器的推理过程解耦，可以充分利用LLM的场景理解能力，同时避免其计算负担影响实时规划器的性能。这种异步架构使得LLM能够以较低的频率运行，从而降低了整体的计算成本。

关键设计：论文中没有明确说明关键的参数设置、损失函数、网络结构等技术细节。但是，异步调度模块的设计是至关重要的，需要仔细考虑LLM的推理频率、实时规划器的推理频率以及两者之间的通信机制，以确保系统的稳定性和性能。具体的技术细节可能包括：LLM的prompt设计，用于指导LLM生成合适的指令特征；实时规划器的损失函数，用于优化车辆的轨迹；以及异步调度模块的调度策略，用于平衡LLM的计算负担和实时规划器的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AsyncDriver在nuPlan的具有挑战性的场景中进行了评估，实验结果表明，该方法在保持相当性能的同时，显著降低了LLM引入的计算成本。具体的性能数据和对比基线在论文中没有明确给出，但摘要强调了AsyncDriver在闭环评估中取得了卓越的性能。

🎯 应用场景

AsyncDriver具有广泛的应用前景，可应用于各种自动驾驶场景，尤其是在需要高层次场景理解和复杂决策的场景中。该研究成果有助于降低自动驾驶系统的计算成本，提高系统的实时性和可靠性，加速自动驾驶技术的商业化落地。此外，该异步架构的设计思路也可以推广到其他需要结合大型模型和实时系统的应用领域。

📄 摘要（原文）

Despite real-time planners exhibiting remarkable performance in autonomous driving, the growing exploration of Large Language Models (LLMs) has opened avenues for enhancing the interpretability and controllability of motion planning. Nevertheless, LLM-based planners continue to encounter significant challenges, including elevated resource consumption and extended inference times, which pose substantial obstacles to practical deployment. In light of these challenges, we introduce AsyncDriver, a new asynchronous LLM-enhanced closed-loop framework designed to leverage scene-associated instruction features produced by LLM to guide real-time planners in making precise and controllable trajectory predictions. On one hand, our method highlights the prowess of LLMs in comprehending and reasoning with vectorized scene data and a series of routing instructions, demonstrating its effective assistance to real-time planners. On the other hand, the proposed framework decouples the inference processes of the LLM and real-time planners. By capitalizing on the asynchronous nature of their inference frequencies, our approach have successfully reduced the computational cost introduced by LLM, while maintaining comparable performance. Experiments show that our approach achieves superior closed-loop evaluation performance on nuPlan's challenging scenarios.