A Dynamic and High-Precision Method for Scenario-Based HRA Synthetic Data Collection in Multi-Agent Collaborative Environments Driven by LLMs

📄 arXiv: 2502.00022v1 📥 PDF

作者: Xingyu Xiao, Peng Chen, Qianqian Jia, Jiejuan Tong, Jingang Liang, Haitao Wang

分类: cs.AI, cs.HC

发布日期: 2025-01-16

💡 一句话要点

提出基于LLM的动态高精度HRA数据收集方法以解决现有方法不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类可靠性分析 大型语言模型 工作负载估计 动态数据收集 协作环境

📋 核心要点

  1. 现有HRA数据收集方法缺乏细粒度，无法有效捕捉动态特征，且通常需要专家知识，导致效率低下。
  2. 本文提出了一种基于LLM的自动化HRA数据收集方法，专注于在协作环境中测量工作负载，动态适应操作员的变化。
  3. 实验结果表明，WELLA方法在预测准确性上显著优于现有商业LLM方法，展示了其在实际应用中的潜力。

📝 摘要（中文）

HRA（人类可靠性分析）数据对推进HRA方法论至关重要。然而，现有数据收集方法缺乏必要的细粒度，大多数方法未能捕捉动态特征。此外，许多方法需要专家知识作为输入，导致其耗时且劳动密集。为了解决这些挑战，本文提出了一种新的自动化HRA数据收集范式，重点关注人类错误背后的关键指标，特别是在协作环境中测量工作负载。该研究引入了一种新颖的场景驱动工作负载估计方法，利用经过微调的大型语言模型（LLMs）。通过在高温气冷反应堆（HTGRs）的实际操作数据上训练LLMs，我们实时模拟各种协作场景中的人类行为和认知负载。该方法动态适应操作员工作负载的变化，提供更准确、灵活和可扩展的工作负载估计。结果表明，所提出的WELLA（基于LLMs和代理的工作负载估计）在预测准确性方面优于现有的商业LLM方法。

🔬 方法详解

问题定义：本文旨在解决现有HRA数据收集方法在细粒度和动态特征捕捉上的不足，尤其是对专家知识的依赖导致的效率低下。

核心思路：提出了一种基于大型语言模型（LLMs）的自动化数据收集方法，专注于在协作环境中实时测量工作负载，以更好地模拟人类行为和认知负载。

技术框架：整体架构包括数据收集模块、LLM训练模块和工作负载估计模块。数据收集模块从高温气冷反应堆的实际操作中获取数据，LLM训练模块对数据进行处理并训练模型，工作负载估计模块则根据实时数据输出工作负载预测。

关键创新：最重要的创新在于利用微调的LLMs进行动态工作负载估计，能够实时适应操作员的工作负载变化，与传统方法相比，提供了更高的准确性和灵活性。

关键设计：在模型训练中，采用了特定的损失函数以优化预测准确性，并设计了适应性网络结构以处理不同协作场景下的工作负载变化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WELLA方法在工作负载预测准确性方面比现有商业LLM方法提高了显著的百分比，具体性能数据表明其在多种协作场景中均表现优异，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括航空航天、核能和其他高风险行业的安全管理。通过提供更准确的工作负载估计，能够有效提升人类操作的可靠性和安全性，未来可能在智能决策支持系统中发挥重要作用。

📄 摘要（原文）

HRA (Human Reliability Analysis) data is crucial for advancing HRA methodologies. however, existing data collection methods lack the necessary granularity, and most approaches fail to capture dynamic features. Additionally, many methods require expert knowledge as input, making them time-consuming and labor-intensive. To address these challenges, we propose a new paradigm for the automated collection of HRA data. Our approach focuses on key indicators behind human error, specifically measuring workload in collaborative settings. This study introduces a novel, scenario-driven method for workload estimation, leveraging fine-tuned large language models (LLMs). By training LLMs on real-world operational data from high-temperature gas-cooled reactors (HTGRs), we simulate human behavior and cognitive load in real time across various collaborative scenarios. The method dynamically adapts to changes in operator workload, providing more accurate, flexible, and scalable workload estimates. The results demonstrate that the proposed WELLA (Workload Estimation with LLMs and Agents) outperforms existing commercial LLM-based methods in terms of prediction accuracy.