Seeking to Collide: Online Safety-Critical Scenario Generation for Autonomous Driving with Retrieval Augmented Large Language Models
作者: Yuewen Mei, Tong Nie, Jian Sun, Ye Tian
分类: cs.AI, cs.RO
发布日期: 2025-05-02 (更新: 2025-07-15)
备注: Accepted at IEEE ITSC 2025
期刊: IEEE International Conference on Intelligent Transportation Systems, 2025
💡 一句话要点
提出一种基于检索增强大语言模型的在线安全关键场景生成方法，用于自动驾驶。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动驾驶 场景生成 大语言模型 检索增强 安全关键 仿真测试
📋 核心要点
- 现有场景生成方法过度拟合常见驾驶模式，或以离线、非交互方式运行，难以暴露罕见、安全攸关的极端情况。
- 该方法利用检索增强的大语言模型，在线生成安全关键场景，通过动态记忆和检索机制，缓解灾难性遗忘并加速适应。
- 实验表明，该模型显著降低了平均最小碰撞时间，并提高了碰撞率，优于现有基线方法，验证了其有效性。
📝 摘要（中文）
本文提出了一种在线的、检索增强的大语言模型（LLM）框架，用于生成安全关键的驾驶场景，以验证自动驾驶车辆（AVs）。该方法首先利用基于LLM的行为分析器，从观察到的状态中推断背景车辆最危险的意图，然后查询额外的LLM代理来合成可行的对抗性轨迹。为了缓解灾难性遗忘并加速适应，我们使用意图-规划器对的动态记忆和检索库来增强该框架，当出现新的意图时，自动扩展其行为库。使用Waymo开放运动数据集的评估表明，我们的模型将平均最小碰撞时间从1.62秒减少到1.08秒，并导致75%的碰撞率，大大优于基线。
🔬 方法详解
问题定义：自动驾驶车辆的验证需要大量的测试场景，特别是安全关键场景。现有的方法要么过度依赖常见驾驶模式，缺乏对极端情况的覆盖；要么是离线生成，无法根据当前状态进行交互式调整，难以有效发现潜在的安全风险。因此，如何高效、在线地生成安全关键的驾驶场景是一个重要的挑战。
核心思路：本文的核心思路是利用大语言模型（LLM）的强大推理和生成能力，结合检索增强机制，实现对背景车辆意图的准确推断和对抗性轨迹的生成。通过在线交互的方式，根据当前状态动态调整场景，从而更有效地暴露安全风险。动态记忆和检索机制则用于缓解LLM的灾难性遗忘问题，并加速对新场景的适应。
技术框架：该框架主要包含以下几个模块：1) 基于LLM的行为分析器：用于从观察到的背景车辆状态中推断其最危险的意图。2) LLM代理：用于根据推断的意图，合成可行的对抗性轨迹。3) 动态记忆和检索库：用于存储和检索意图-规划器对，当出现新的意图时，自动扩展行为库。整体流程是，首先利用行为分析器推断背景车辆的意图，然后从检索库中检索相关的规划器，如果没有找到，则利用LLM代理生成新的规划器，并将意图-规划器对存储到检索库中。最后，利用生成的对抗性轨迹进行仿真测试。
关键创新：该方法最重要的创新点在于将检索增强的大语言模型应用于自动驾驶安全关键场景的在线生成。与传统方法相比，该方法能够更准确地推断背景车辆的意图，并生成更具挑战性的对抗性轨迹。动态记忆和检索机制则保证了模型的长期学习能力和适应性。
关键设计：关于关键设计，论文中提到使用Waymo开放运动数据集进行评估，但没有详细说明具体的参数设置、损失函数或网络结构等技术细节。这些细节可能在补充材料或后续工作中给出。LLM的选择和prompt的设计是影响性能的关键因素，但论文中没有详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该模型能够显著降低平均最小碰撞时间（从1.62秒降至1.08秒），并提高碰撞率（达到75%），大幅优于基线方法。这些数据表明，该方法能够更有效地生成安全关键场景，暴露自动驾驶系统的潜在缺陷。
🎯 应用场景
该研究成果可应用于自动驾驶车辆的仿真测试和验证，帮助开发者发现潜在的安全风险，提高自动驾驶系统的安全性。此外，该方法还可以用于自动驾驶算法的对抗性训练，提高其鲁棒性和泛化能力。未来，该方法有望扩展到其他安全关键领域，如机器人、航空航天等。
📄 摘要（原文）
Simulation-based testing is crucial for validating autonomous vehicles (AVs), yet existing scenario generation methods either overfit to common driving patterns or operate in an offline, non-interactive manner that fails to expose rare, safety-critical corner cases. In this paper, we introduce an online, retrieval-augmented large language model (LLM) framework for generating safety-critical driving scenarios. Our method first employs an LLM-based behavior analyzer to infer the most dangerous intent of the background vehicle from the observed state, then queries additional LLM agents to synthesize feasible adversarial trajectories. To mitigate catastrophic forgetting and accelerate adaptation, we augment the framework with a dynamic memorization and retrieval bank of intent-planner pairs, automatically expanding its behavioral library when novel intents arise. Evaluations using the Waymo Open Motion Dataset demonstrate that our model reduces the mean minimum time-to-collision from 1.62 to 1.08 s and incurs a 75% collision rate, substantially outperforming baselines.