Enhancing Vaccine Safety Surveillance: Extracting Vaccine Mentions from Emergency Department Triage Notes Using Fine-Tuned Large Language Models

📄 arXiv: 2507.07599v1 📥 PDF

作者: Sedigh Khademi, Jim Black, Christopher Palmer, Muhammad Javed, Hazel Clothier, Jim Buttery, Gerardo Luis Dimaguila

分类: cs.AI, cs.CL

发布日期: 2025-07-10

备注: 5 pages

期刊: Medinfo 2025

💡 一句话要点

利用微调Llama 3.2模型从急诊分诊记录中提取疫苗信息，提升疫苗安全监测效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 疫苗安全监测 大型语言模型 Llama 3.2 微调 急诊分诊记录 信息提取 提示工程

📋 核心要点

  1. 现有疫苗安全监测依赖人工审核，效率低且易出错，难以快速响应新出现的不良事件。
  2. 本研究提出微调Llama 3.2模型，利用其强大的语言理解能力，自动提取急诊记录中的疫苗信息。
  3. 实验表明，微调后的Llama 3.2模型在疫苗名称提取方面表现出色，优于其他模型，并可通过量化部署。

📝 摘要（中文）

本研究评估了微调后的Llama 3.2模型在从急诊科分诊记录中提取疫苗相关信息方面的性能，旨在支持近乎实时的疫苗安全监测。研究首先使用提示工程创建了一个带标签的数据集，然后由人工标注员进行确认。比较了提示工程模型、微调模型和基于规则的方法的性能。结果表明，微调后的30亿参数Llama模型在提取疫苗名称的准确性方面优于其他模型。模型量化使得在资源受限的环境中高效部署成为可能。研究结果表明，大型语言模型在自动从急诊科记录中提取数据方面具有潜力，从而支持高效的疫苗安全监测和早期检测免疫后出现的新发不良事件问题。

🔬 方法详解

问题定义：本研究旨在解决疫苗安全监测中，从急诊科分诊记录中手动提取疫苗相关信息效率低下的问题。现有方法，如人工审核和基于规则的方法，耗时且容易出错，无法满足近实时监测的需求。因此，需要一种自动化的方法来准确高效地提取疫苗信息。

核心思路：本研究的核心思路是利用大型语言模型（LLM）强大的自然语言理解能力，通过微调使其适应特定任务，即从非结构化的急诊科分诊记录中提取疫苗名称。通过提示工程生成初始数据集，并经过人工标注确认，从而构建高质量的训练数据。

技术框架：整体流程包括以下几个阶段：1) 数据集构建：利用提示工程生成初始标注数据，然后由人工标注员进行验证和修正，构建高质量的疫苗信息提取数据集。2) 模型微调：使用Llama 3.2模型，并在构建的数据集上进行微调，使其适应疫苗信息提取任务。3) 模型评估：比较微调模型、提示工程模型和基于规则的方法在疫苗名称提取准确性方面的性能。4) 模型部署：通过模型量化，降低模型大小和计算复杂度，使其能够在资源受限的环境中部署。

关键创新：本研究的关键创新在于将大型语言模型应用于疫苗安全监测领域，并探索了微调LLM在从非结构化文本中提取特定信息方面的潜力。此外，通过提示工程和人工标注相结合的方式构建高质量的训练数据集，也是一个重要的创新点。

关键设计：研究中使用了Llama 3.2模型，并对其进行了微调。模型量化技术被用于减小模型大小，以便在资源受限的环境中部署。具体的参数设置、损失函数和网络结构等技术细节在论文中可能未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，微调后的30亿参数Llama 3.2模型在提取疫苗名称的准确性方面优于其他模型，包括提示工程模型和基于规则的方法。模型量化技术使得该模型能够在资源受限的环境中高效部署，为实际应用提供了可行性。

🎯 应用场景

该研究成果可应用于疫苗安全监测系统，实现对不良事件的早期预警和快速响应。通过自动提取急诊记录中的疫苗信息，可以大大提高监测效率，降低人工成本，并有助于及时发现潜在的疫苗安全问题。此外，该方法也可推广到其他医疗文本信息的自动提取，例如药物不良反应监测等。

📄 摘要（原文）

This study evaluates fine-tuned Llama 3.2 models for extracting vaccine-related information from emergency department triage notes to support near real-time vaccine safety surveillance. Prompt engineering was used to initially create a labeled dataset, which was then confirmed by human annotators. The performance of prompt-engineered models, fine-tuned models, and a rule-based approach was compared. The fine-tuned Llama 3 billion parameter model outperformed other models in its accuracy of extracting vaccine names. Model quantization enabled efficient deployment in resource-constrained environments. Findings demonstrate the potential of large language models in automating data extraction from emergency department notes, supporting efficient vaccine safety surveillance and early detection of emerging adverse events following immunization issues.