SAFARI: An Industrial Benchmark for LLM-Assisted Hazard Analysis and Risk Assessment

📄 arXiv: 2609.20584v1 📥 PDF

作者: Chenxi Wu, Zimu Wang, Haiyang Zhang, Wei Wang, Zhijie Xu

分类: cs.CL

发布日期: 2026-09-17

备注: Accepted at EMNLP 2026 Industry Track

🔗 代码/项目: GITHUB

💡 一句话要点

提出SAFARI基准以解决LLM辅助的汽车风险评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 功能安全 风险评估 汽车工程 危险分析 ISO 26262 工业基准 安全关键系统

📋 核心要点

  1. 现有方法在安全关键领域中，LLM的可靠性和有效性尚未得到充分验证，尤其是在功能安全的工作流程中。
  2. 本文提出SAFARI基准，结合开放式危险分析与标准化风险评估，提供了一个系统化的评估框架。
  3. 实验结果显示，尽管LLM在生成危险叙述方面表现良好，但在风险分类上存在显著不足，最佳性能仅为0.261。

📝 摘要（中文）

大型语言模型（LLMs）在安全关键工程中的应用日益受到关注，但其在受监管的功能安全工作流程中的可靠性仍未得到充分探索。本文介绍了SAFARI（安全意识功能汽车风险推断），这是第一个针对LLM辅助汽车危险分析和风险评估（HARA）的工业基准，符合ISO 26262标准。该基准包含3000个去标识化的工业HARA案例，并评估开放式危险分析和基于标准的风险评估两个任务。我们提出了首个参考锚定的LLM评判协议，具有高专家相关性。实验表明，尽管模型能够生成合理的危险叙述，但在ISO 26262风险分类方面表现较弱，最佳ASIL宏F1仅达到0.261。

🔬 方法详解

问题定义：本文旨在解决LLM在汽车危险分析和风险评估中的可靠性问题，现有方法在功能安全领域的应用效果不佳，尤其是在ISO 26262标准下的风险分类任务中表现欠佳。

核心思路：通过构建SAFARI基准，结合开放式危险分析与标准化风险评估，提出参考锚定的LLM评判协议，以提高评估的准确性和可靠性。

技术框架：整体架构包括数据集构建、任务定义、模型评估和结果分析四个主要模块。数据集包含3000个去标识化的HARA案例，评估模型在开放式危险分析和风险评估中的表现。

关键创新：最重要的创新在于提出了参考锚定的LLM评判协议，能够有效提高专家相关性，并为LLM在功能安全领域的应用提供了新的评估标准。

关键设计：在实验中，采用了多种前沿LLM进行评估，设置了不同的提示策略（如Chain-of-Thought），并进行了详细的错误分析，以识别模型在危险生成和风险评估中的主要失误。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，尽管LLM在生成危险叙述方面表现良好，但在ISO 26262风险分类任务中，最佳的ASIL宏F1仅为0.261，表明模型在风险评估方面的能力仍需提升。Chain-of-Thought提示策略的效果有限，甚至在某些情况下导致分类性能下降。

🎯 应用场景

SAFARI基准的提出为汽车行业的安全分析和风险评估提供了新的工具，能够帮助工程师更有效地利用LLM进行功能安全工作。该研究的成果不仅适用于汽车领域，还可扩展到其他安全关键行业，如航空航天和医疗设备等，具有广泛的实际应用价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly considered for safety-critical engineering, yet their reliability in regulated functional-safety workflows remains underexplored. We introduce SAFARI (Safety-Aware Functional Automotive Risk Inference), the first industrial benchmark for LLM-assisted automotive Hazard Analysis and Risk Assessment (HARA) under ISO 26262. It contains 3,000 de-identified industrial HARA cases and evaluates two coupled tasks: open-ended hazard analysis and standards-grounded risk assessment. To evaluate open-ended HARA artifacts, we propose the first reference-anchored LLM-as-a-judge protocol with high expert correlation. Experiments with nine frontier LLMs show that models often produce plausible hazard narratives but remain weak at ISO 26262 risk classification, with the best ASIL macro-F1 reaching only 0.261. Chain-of-Thought prompting provides limited benefit and often degrades categorical risk assessment. Error analysis further localizes major failures to scenario-critical context omissions during hazard generation and to controllability misjudgments during risk assessment, indicating where expert oversight should be concentrated. The dataset can be obtained from https://github.com/xixi47520-hash/HARA.