A Knowledge-Informed Large Language Model Framework for U.S. Nuclear Power Plant Shutdown Initiating Event Classification for Probabilistic Risk Assessment

📄 arXiv: 2410.00929v1 📥 PDF

作者: Min Xian, Tao Wang, Sai Zhang, Fei Xu, Zhegang Ma

分类: cs.AI, cs.LG

发布日期: 2024-09-30

💡 一句话要点

提出一种知识驱动的大语言模型框架，用于美国核电站停堆初始事件分类。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 核电站安全 停堆初始事件 概率风险评估 大型语言模型 文本分类

📋 核心要点

  1. 现有方法在核电站停堆初始事件分类中面临数据集小、类别不平衡和标签噪声等挑战。
  2. 该论文提出一种混合流程，结合知识驱动的机器学习预筛选和大型语言模型（LLM）分类。
  3. 实验结果表明，该方法能有效排除非SDIEs，并显著提升SDIE分类的平均准确率至93.4%。

📝 摘要（中文）

识别和分类停堆初始事件（SDIEs）对于开发核电站低功率停堆概率风险评估至关重要。由于缺乏大型标注数据集、事件类型不平衡以及标签噪声等挑战，现有的计算方法无法达到令人满意的性能。为了解决这些挑战，我们提出了一种混合流程，该流程集成了知识驱动的机器学习模型来预筛选非SDIEs，以及一个大型语言模型（LLM）将SDIEs分类为四种类型。在预筛选阶段，我们提出了一组包含六种SDIE类型中最显著关键词和短语的44个SDIE文本模式。基于SDIE模式的文本向量化生成了可以通过简单二元分类器高度分离的特征向量。第二阶段构建了基于Transformer的双向编码器表示（BERT）的LLM，该模型通过在大型数据集上进行自监督预训练来学习通用英语语言表示，并通过在SDIE数据集上进行微调来适应SDIE分类。所提出的方法在包含10,928个事件的数据集上进行了评估，使用了精确率、召回率、F1分数和平均准确率。结果表明，预筛选阶段可以排除超过97%的非SDIEs，并且LLM在SDIE分类中实现了93.4%的平均准确率。

🔬 方法详解

问题定义：论文旨在解决核电站停堆初始事件（SDIEs）的自动分类问题，这是核电站低功率停堆概率风险评估的关键环节。现有方法受限于缺乏大型标注数据集，SDIE类型分布不平衡，以及数据中存在的标签噪声，导致分类性能不佳。

核心思路：论文的核心思路是利用知识驱动的机器学习方法进行预筛选，过滤掉大量的非SDIEs，然后利用大型语言模型（LLM）学习到的通用语言表示能力，并针对SDIE分类任务进行微调，从而提高分类准确率。这种混合方法结合了知识和数据驱动的优势。

技术框架：整体框架包含两个主要阶段：1) 预筛选阶段：利用预定义的SDIE文本模式，将文本向量化，并使用二元分类器区分SDIEs和非SDIEs。2) 分类阶段：使用基于BERT的LLM，首先在大规模文本语料库上进行预训练，然后使用SDIE数据集进行微调，最终实现SDIEs的分类。

关键创新：该方法最重要的创新点在于将知识驱动的预筛选与数据驱动的LLM分类相结合。预筛选阶段利用领域知识，显著减少了LLM需要处理的数据量，降低了计算成本，并提高了分类的效率和准确性。

关键设计：预筛选阶段的关键设计在于SDIE文本模式的构建，论文提出了包含六种SDIE类型中最显著关键词和短语的44个SDIE文本模式。分类阶段的关键设计在于选择BERT作为LLM的基础模型，并使用SDIE数据集进行微调，以适应特定的分类任务。具体的参数设置和损失函数等细节在论文中未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，预筛选阶段可以排除超过97%的非SDIEs，显著降低了后续LLM的计算负担。同时，经过微调的LLM在SDIE分类中实现了93.4%的平均准确率，相较于传统方法有显著提升。这些结果验证了该方法的有效性。

🎯 应用场景

该研究成果可应用于核电站的概率风险评估，提高停堆初始事件识别的准确性和效率，从而提升核电站的安全性和可靠性。此外，该方法也可推广到其他工业领域的安全事件分类和风险评估中，具有广泛的应用前景。

📄 摘要（原文）

Identifying and classifying shutdown initiating events (SDIEs) is critical for developing low power shutdown probabilistic risk assessment for nuclear power plants. Existing computational approaches cannot achieve satisfactory performance due to the challenges of unavailable large, labeled datasets, imbalanced event types, and label noise. To address these challenges, we propose a hybrid pipeline that integrates a knowledge-informed machine learning mode to prescreen non-SDIEs and a large language model (LLM) to classify SDIEs into four types. In the prescreening stage, we proposed a set of 44 SDIE text patterns that consist of the most salient keywords and phrases from six SDIE types. Text vectorization based on the SDIE patterns generates feature vectors that are highly separable by using a simple binary classifier. The second stage builds Bidirectional Encoder Representations from Transformers (BERT)-based LLM, which learns generic English language representations from self-supervised pretraining on a large dataset and adapts to SDIE classification by fine-tuning it on an SDIE dataset. The proposed approaches are evaluated on a dataset with 10,928 events using precision, recall ratio, F1 score, and average accuracy. The results demonstrate that the prescreening stage can exclude more than 97% non-SDIEs, and the LLM achieves an average accuracy of 93.4% for SDIE classification.