SanDRA: Safe Large-Language-Model-Based Decision Making for Automated Vehicles Using Reachability Analysis

📄 arXiv: 2510.06717v1 📥 PDF

作者: Yuanfei Lin, Sebastian Illing, Matthias Althoff

分类: cs.RO

发布日期: 2025-10-08

备注: @2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

💡 一句话要点

SanDRA：基于可达性分析的自动驾驶车辆安全大语言模型决策框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 大语言模型 可达性分析 安全决策 形式化验证

📋 核心要点

  1. 现有基于大语言模型的自动驾驶决策方法，由于模型幻觉和缺乏车辆动力学集成，难以保证决策的安全性。
  2. SanDRA框架利用可达性分析，对大语言模型生成的驾驶动作进行安全验证，消除不安全动作，确保决策的安全性。
  3. 实验结果表明，SanDRA能够在高密度交通条件下，提供可证明安全且符合交通规则的驾驶动作。

📝 摘要（中文）

本文提出SanDRA，一种基于可达性分析的自动驾驶车辆安全大语言模型决策框架。该框架旨在解决大语言模型在自动驾驶决策中存在的幻觉问题和缺乏车辆动力学集成的问题，从而确保决策的安全性。SanDRA首先利用详尽的驾驶场景描述提示大语言模型生成并排序可行的驾驶动作。然后，将这些动作转化为包含形式化交通规则的时序逻辑公式，并将其整合到可达性分析中，以消除不安全的动作。通过在开放和闭环驾驶环境中，使用现成和微调的大语言模型进行验证，结果表明该方法能够提供可证明安全且在可能情况下符合法律规定的驾驶动作，即使在高密度交通条件下也能有效工作。代码和实验设置已公开。

🔬 方法详解

问题定义：现有基于大语言模型的自动驾驶决策方法虽然具有强大的泛化和推理能力，但存在两个主要问题：一是大语言模型可能产生幻觉，导致不合理的决策；二是缺乏对车辆动力学的有效集成，使得决策难以保证安全性。因此，需要一种方法来验证和修正大语言模型生成的驾驶动作，确保其安全性和可行性。

核心思路：SanDRA的核心思路是将大语言模型生成的驾驶动作与可达性分析相结合。首先，利用大语言模型生成候选驾驶动作；然后，将这些动作转化为时序逻辑公式，并将其输入到可达性分析模块中。可达性分析能够验证在给定的车辆动力学约束和环境条件下，执行这些动作是否会导致碰撞或其他不安全事件。通过这种方式，可以过滤掉不安全的动作，从而保证决策的安全性。

技术框架：SanDRA框架主要包含以下几个模块：1) 场景描述模块：用于提供详细的驾驶场景信息，包括交通参与者、道路结构、交通规则等。2) 大语言模型决策模块：利用场景描述信息，提示大语言模型生成并排序可行的驾驶动作。3) 时序逻辑公式转换模块：将大语言模型生成的驾驶动作转化为时序逻辑公式，以便进行形式化验证。4) 可达性分析模块：利用车辆动力学模型和环境信息，验证时序逻辑公式的安全性，并消除不安全的动作。5) 执行模块：执行经过安全验证的驾驶动作。

关键创新：SanDRA的关键创新在于将大语言模型与可达性分析相结合，实现安全的大语言模型驱动的自动驾驶决策。与传统的基于规则或优化的自动驾驶决策方法相比，SanDRA能够利用大语言模型的强大推理能力，处理复杂的驾驶场景，同时通过可达性分析保证决策的安全性。

关键设计：在场景描述模块中，需要设计合适的提示语，引导大语言模型生成合理的驾驶动作。在时序逻辑公式转换模块中，需要将驾驶动作精确地转化为形式化语言。在可达性分析模块中，需要选择合适的车辆动力学模型和可达集计算方法，以保证分析的准确性和效率。此外，还需要设计合适的安全裕度，以应对不确定性因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SanDRA框架能够在开放和闭环驾驶环境中，提供可证明安全且符合交通规则的驾驶动作，即使在高密度交通条件下也能有效工作。与没有安全验证的大语言模型相比，SanDRA能够显著降低碰撞风险，提高自动驾驶系统的安全性。此外，实验还验证了SanDRA框架在不同大语言模型上的适用性，表明该框架具有良好的通用性。

🎯 应用场景

SanDRA框架可应用于各种自动驾驶场景，例如城市道路、高速公路和停车场等。该框架能够提高自动驾驶系统的安全性和可靠性，减少交通事故的发生。此外，SanDRA还可以用于自动驾驶系统的验证和测试，帮助开发人员发现和修复潜在的安全问题。未来，该框架有望成为自动驾驶技术发展的重要组成部分。

📄 摘要（原文）

Large language models have been widely applied to knowledge-driven decision-making for automated vehicles due to their strong generalization and reasoning capabilities. However, the safety of the resulting decisions cannot be ensured due to possible hallucinations and the lack of integrated vehicle dynamics. To address this issue, we propose SanDRA, the first safe large-language-model-based decision making framework for automated vehicles using reachability analysis. Our approach starts with a comprehensive description of the driving scenario to prompt large language models to generate and rank feasible driving actions. These actions are translated into temporal logic formulas that incorporate formalized traffic rules, and are subsequently integrated into reachability analysis to eliminate unsafe actions. We validate our approach in both open-loop and closed-loop driving environments using off-the-shelf and finetuned large language models, showing that it can provide provably safe and, where possible, legally compliant driving actions, even under high-density traffic conditions. To ensure transparency and facilitate future research, all code and experimental setups are publicly available at github.com/CommonRoad/SanDRA.