Leveraging Large Language Models with Chain-of-Thought and Prompt Engineering for Traffic Crash Severity Analysis and Inference
作者: Hao Zhen, Yucheng Shi, Yongcan Huang, Jidong J. Yang, Ninghao Liu
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-08-04
备注: 20 pages, 12 figures, 3 tables
💡 一句话要点
利用思维链和提示工程，探索大语言模型在交通事故严重程度分析与推断中的应用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交通事故分析 严重程度推断 大语言模型 思维链 提示工程 零样本学习 智能交通 自然语言处理
📋 核心要点
- 现有方法在交通事故严重程度分析中缺乏对复杂因素的综合考虑和深入推理能力。
- 本研究利用大语言模型，结合思维链推理和领域知识提示工程，提升事故严重程度分析的准确性和可解释性。
- 实验结果表明，LLaMA3-70B模型在零样本设置下表现最佳，思维链和提示工程显著提升了模型性能。
📝 摘要（中文）
本研究探索了三种先进的大语言模型（LLMs），即GPT-3.5-turbo、LLaMA3-8B和LLaMA3-70B，用于交通事故严重程度推断，并将其定义为分类任务。我们使用预先构建的、融入领域知识的模板，从原始交通事故表格数据生成文本叙述。此外，我们还结合了思维链（CoT）推理，以指导LLMs分析事故原因，进而推断严重程度。本研究还考察了专门为事故严重程度推断设计的提示工程的影响。LLMs的任务是进行事故严重程度推断，以：（1）评估模型在事故严重程度分析方面的能力，（2）评估CoT和领域信息提示工程的有效性，以及（3）检查CoT框架下的推理能力。结果表明，LLaMA3-70B始终优于其他模型，尤其是在零样本设置中。CoT和提示工程技术显著提高了性能，改善了逻辑推理并解决了对齐问题。值得注意的是，CoT为LLMs的推理过程提供了宝贵的见解，释放了它们在严重程度分析和推断中考虑环境条件、驾驶员行为和车辆特征等多种因素的能力。
🔬 方法详解
问题定义：现有方法在交通事故严重程度分析中，难以有效整合多种影响因素（如环境、驾驶员行为、车辆特征），并且缺乏透明的推理过程，导致分析结果的准确性和可信度受限。本研究旨在利用大语言模型解决这些问题，提升事故严重程度分析的自动化和智能化水平。
核心思路：本研究的核心思路是利用大语言模型的强大语言理解和生成能力，将交通事故的表格数据转化为文本叙述，并结合思维链（Chain-of-Thought, CoT）推理，引导模型逐步分析事故原因，最终推断事故严重程度。通过领域知识的提示工程，进一步提升模型的性能和推理能力。
技术框架：整体框架包括以下几个主要阶段：（1）数据预处理：将原始交通事故表格数据清洗和转换成结构化格式。（2）文本叙述生成：使用预定义的模板，将表格数据转化为包含领域知识的文本描述。（3）提示工程：设计包含CoT推理步骤的提示，引导LLMs进行事故原因分析和严重程度推断。（4）模型推理：使用GPT-3.5-turbo、LLaMA3-8B和LLaMA3-70B等LLMs进行推理，并输出事故严重程度的预测结果。（5）结果评估：评估模型的预测准确率，并分析CoT推理过程的有效性。
关键创新：本研究的关键创新在于：（1）将交通事故严重程度分析问题转化为自然语言处理任务，充分利用了LLMs的优势。（2）结合思维链推理，使模型能够进行更深入和可解释的推理。（3）通过领域知识的提示工程，提升了模型在特定领域的性能。与传统方法相比，本研究的方法能够更全面地考虑各种影响因素，并提供更透明的推理过程。
关键设计：在提示工程方面，设计了包含多个推理步骤的提示，例如：“首先，分析环境因素（天气、路况）；其次，分析驾驶员行为（是否超速、疲劳驾驶）；最后，综合考虑所有因素，推断事故严重程度。” 此外，还探索了不同提示模板和领域知识的组合方式，以优化模型的性能。具体参数设置和损失函数取决于所使用的LLM模型，本研究主要关注提示工程和CoT推理的效果，而没有对LLM本身进行微调。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLaMA3-70B模型在零样本设置下表现最佳，优于GPT-3.5-turbo和LLaMA3-8B。思维链（CoT）推理和提示工程显著提升了模型的性能，在某些情况下，准确率提升超过10%。CoT推理还提供了对模型推理过程的洞察，有助于理解模型如何做出决策。
🎯 应用场景
该研究成果可应用于智能交通系统、保险理赔、事故预防等领域。通过自动分析事故数据，可以快速准确地评估事故严重程度，为事故责任认定、保险理赔提供依据，并为交通安全管理部门提供决策支持，从而降低交通事故发生率和伤亡人数。
📄 摘要（原文）
Harnessing the power of Large Language Models (LLMs), this study explores the use of three state-of-the-art LLMs, specifically GPT-3.5-turbo, LLaMA3-8B, and LLaMA3-70B, for crash severity inference, framing it as a classification task. We generate textual narratives from original traffic crash tabular data using a pre-built template infused with domain knowledge. Additionally, we incorporated Chain-of-Thought (CoT) reasoning to guide the LLMs in analyzing the crash causes and then inferring the severity. This study also examine the impact of prompt engineering specifically designed for crash severity inference. The LLMs were tasked with crash severity inference to: (1) evaluate the models' capabilities in crash severity analysis, (2) assess the effectiveness of CoT and domain-informed prompt engineering, and (3) examine the reasoning abilities with the CoT framework. Our results showed that LLaMA3-70B consistently outperformed the other models, particularly in zero-shot settings. The CoT and Prompt Engineering techniques significantly enhanced performance, improving logical reasoning and addressing alignment issues. Notably, the CoT offers valuable insights into LLMs' reasoning processes, unleashing their capacity to consider diverse factors such as environmental conditions, driver behavior, and vehicle characteristics in severity analysis and inference.