Seeking to Collide: Online Safety-Critical Scenario Generation for Autonomous Driving with Retrieval Augmented Large Language Models

📄 arXiv: 2505.00972v2 📥 PDF

作者: Yuewen Mei, Tong Nie, Jian Sun, Ye Tian

分类: cs.AI, cs.RO

发布日期: 2025-05-02 (更新: 2025-07-15)

备注: Accepted at IEEE ITSC 2025

期刊: IEEE International Conference on Intelligent Transportation Systems, 2025

💡 一句话要点

提出在线安全关键场景生成方法以提升自动驾驶安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 场景生成 安全测试 大型语言模型 对抗轨迹 动态记忆 行为分析 检索增强

📋 核心要点

  1. 现有的场景生成方法无法有效揭示稀有的安全关键驾驶场景，导致自动驾驶测试的局限性。
  2. 本文提出了一种基于在线检索的大型语言模型框架，通过分析背景车辆的意图生成对抗性驾驶场景。
  3. 实验结果表明，该方法显著降低了碰撞时间，并提高了碰撞检测的准确性，优于现有基线方法。

📝 摘要（中文）

基于仿真的测试对于验证自动驾驶汽车至关重要，但现有的场景生成方法要么过于依赖常见驾驶模式，要么以离线、非交互的方式运行，无法揭示稀有的安全关键角落案例。本文提出了一种在线的、增强检索的大型语言模型（LLM）框架，用于生成安全关键的驾驶场景。该方法首先利用LLM行为分析器推断背景车辆的最危险意图，然后查询额外的LLM代理以合成可行的对抗轨迹。为了减轻灾难性遗忘并加速适应，框架还增强了动态记忆和检索库，自动扩展其行为库以应对新出现的意图。使用Waymo开放运动数据集的评估表明，该模型将平均最小碰撞时间从1.62秒降低至1.08秒，并且碰撞率达到75%，显著优于基线。

🔬 方法详解

问题定义：本文旨在解决现有自动驾驶场景生成方法的不足，特别是无法有效生成稀有且安全关键的驾驶场景。现有方法往往过于依赖常见驾驶模式，导致测试覆盖面不足。

核心思路：提出一种在线的、增强检索的大型语言模型框架，通过分析背景车辆的意图并生成对抗性轨迹，以提高安全场景的生成能力。此设计旨在实时适应不同驾驶意图，增强测试的有效性。

技术框架：整体架构包括三个主要模块：行为分析器、对抗轨迹生成器和动态记忆检索库。行为分析器推断背景车辆的意图，对抗轨迹生成器合成可行的驾驶轨迹，而动态记忆检索库则存储和检索意图-规划对。

关键创新：最重要的创新在于引入动态记忆和检索机制，使得模型能够在面对新意图时自动扩展其行为库，解决了传统方法中的灾难性遗忘问题。

关键设计：在设计中，采用了特定的损失函数来优化轨迹生成的准确性，并通过调整网络结构以适应不同的驾驶场景，确保生成的场景具有高可行性和安全性。

📊 实验亮点

实验结果显示，提出的方法将平均最小碰撞时间从1.62秒降低至1.08秒，碰撞率达到75%。这些结果表明，该模型在生成安全关键场景方面显著优于现有基线，展示了其在自动驾驶安全测试中的实际应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车的安全测试与验证、智能交通系统的优化以及驾驶行为分析等。通过生成多样化的安全关键场景，能够有效提升自动驾驶系统的安全性和可靠性，推动智能交通技术的发展。未来，该方法还可能扩展到其他领域，如机器人导航和人机交互等。

📄 摘要（原文）

Simulation-based testing is crucial for validating autonomous vehicles (AVs), yet existing scenario generation methods either overfit to common driving patterns or operate in an offline, non-interactive manner that fails to expose rare, safety-critical corner cases. In this paper, we introduce an online, retrieval-augmented large language model (LLM) framework for generating safety-critical driving scenarios. Our method first employs an LLM-based behavior analyzer to infer the most dangerous intent of the background vehicle from the observed state, then queries additional LLM agents to synthesize feasible adversarial trajectories. To mitigate catastrophic forgetting and accelerate adaptation, we augment the framework with a dynamic memorization and retrieval bank of intent-planner pairs, automatically expanding its behavioral library when novel intents arise. Evaluations using the Waymo Open Motion Dataset demonstrate that our model reduces the mean minimum time-to-collision from 1.62 to 1.08 s and incurs a 75% collision rate, substantially outperforming baselines.