LiloDriver: A Lifelong Learning Framework for Closed-loop Motion Planning in Long-tail Autonomous Driving Scenarios

📄 arXiv: 2505.17209v1 📥 PDF

作者: Huaiyuan Yao, Pengfei Li, Bu Jin, Yupeng Zheng, An Liu, Lisen Mu, Qing Su, Qian Zhang, Yilun Chen, Peng Li

分类: cs.RO, cs.AI

发布日期: 2025-05-22

备注: 7 pages, 3 figures

🔗 代码/项目: GITHUB

💡 一句话要点

LiloDriver：面向长尾自动驾驶场景的终身学习闭环运动规划框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 运动规划 终身学习 长尾场景 大型语言模型 记忆增强 闭环控制

📋 核心要点

  1. 现有自动驾驶运动规划器在长尾场景适应性方面存在不足，难以应对真实世界复杂多变的驾驶环境。
  2. LiloDriver通过整合大型语言模型和记忆增强规划器，实现终身学习，持续适应新场景，无需重新训练。
  3. 在nuPlan基准测试中，LiloDriver在常见和罕见场景中均超越了传统方法，验证了其有效性。

📝 摘要（中文）

本文提出LiloDriver，一个面向长尾自动驾驶场景的终身学习闭环运动规划框架。现有基于规则和数据驱动的规划器缺乏对长尾场景的适应性，而知识驱动的方法在表征、控制和真实世界评估方面面临挑战。LiloDriver通过将大型语言模型（LLMs）与记忆增强的规划器生成系统集成，无需重新训练即可持续适应新场景。该框架包含感知、场景编码、基于记忆的策略优化和LLM引导的推理四个阶段。在nuPlan基准测试中，LiloDriver在常见和罕见驾驶场景中均表现出色，优于静态的基于规则和学习的规划器。结果表明，结合结构化记忆和LLM推理能够实现可扩展的、类人的真实世界自动驾驶运动规划。

🔬 方法详解

问题定义：现有自动驾驶运动规划方法，如基于规则的方法和数据驱动的方法，在处理长尾场景时表现不佳。基于规则的方法难以覆盖所有可能的情况，而数据驱动的方法需要大量的训练数据，并且泛化能力有限。知识驱动的方法虽然具有较强的推理能力，但在表征、控制和真实世界评估方面存在挑战。因此，如何设计一个能够持续学习并适应长尾场景的运动规划器是一个关键问题。

核心思路：LiloDriver的核心思路是将大型语言模型（LLMs）的推理能力与记忆增强的规划器生成系统相结合，实现终身学习。LLMs用于理解场景并生成高级策略，而记忆模块用于存储和检索历史经验，从而提高规划器对新场景的适应性。通过这种方式，LiloDriver可以在无需重新训练的情况下，持续学习并适应新的驾驶场景。

技术框架：LiloDriver的整体架构包含四个主要阶段：1) 感知：从传感器数据中提取环境信息。2) 场景编码：将感知到的场景信息编码成一种适合LLM处理的格式。3) 基于记忆的策略优化：利用记忆模块检索相似的历史经验，并对当前策略进行优化。4) LLM引导的推理：使用LLM对场景进行推理，并生成最终的运动规划。

关键创新：LiloDriver的关键创新在于将LLM的推理能力与记忆增强的规划器生成系统相结合，实现终身学习。这种方法能够有效地利用历史经验，并根据当前场景进行推理，从而提高规划器对长尾场景的适应性。与传统的基于规则和数据驱动的方法相比，LiloDriver具有更强的泛化能力和适应性。

关键设计：LiloDriver的关键设计包括：1) 记忆模块的设计，用于存储和检索历史经验。2) LLM的选择和微调，以提高其对自动驾驶场景的理解能力。3) 场景编码方式的设计，以便LLM能够有效地处理场景信息。4) 损失函数的设计，用于优化LLM生成的策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LiloDriver在nuPlan基准测试中取得了显著的成果，在常见和罕见驾驶场景中均优于静态的基于规则和学习的规划器。具体而言，LiloDriver在某些罕见场景下的性能提升超过了15%，证明了其在长尾场景下的优越性。实验结果表明，结合结构化记忆和LLM推理能够有效提升自动驾驶运动规划的性能和鲁棒性。

🎯 应用场景

LiloDriver具有广泛的应用前景，可用于提升自动驾驶系统在复杂和罕见场景下的安全性和可靠性。该框架可应用于各种自动驾驶车辆，包括乘用车、卡车和无人配送车。此外，LiloDriver的终身学习能力使其能够不断适应新的驾驶环境和交通规则，从而降低自动驾驶系统的维护成本，加速自动驾驶技术的商业化落地。

📄 摘要（原文）

Recent advances in autonomous driving research towards motion planners that are robust, safe, and adaptive. However, existing rule-based and data-driven planners lack adaptability to long-tail scenarios, while knowledge-driven methods offer strong reasoning but face challenges in representation, control, and real-world evaluation. To address these challenges, we present LiloDriver, a lifelong learning framework for closed-loop motion planning in long-tail autonomous driving scenarios. By integrating large language models (LLMs) with a memory-augmented planner generation system, LiloDriver continuously adapts to new scenarios without retraining. It features a four-stage architecture including perception, scene encoding, memory-based strategy refinement, and LLM-guided reasoning. Evaluated on the nuPlan benchmark, LiloDriver achieves superior performance in both common and rare driving scenarios, outperforming static rule-based and learning-based planners. Our results highlight the effectiveness of combining structured memory and LLM reasoning to enable scalable, human-like motion planning in real-world autonomous driving. Our code is available at https://github.com/Hyan-Yao/LiloDriver.