Zero- and Few-shot Named Entity Recognition and Text Expansion in Medication Prescriptions using ChatGPT

📄 arXiv: 2409.17683v1 📥 PDF

作者: Natthanaphop Isaradech, Andrea Riedel, Wachiranun Sirikul, Markus Kreuzthaler, Stefan Schulz

分类: cs.CL, cs.AI

发布日期: 2024-09-26

💡 一句话要点

利用ChatGPT在药物处方中实现零样本和少样本命名实体识别与文本扩展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 命名实体识别 文本扩展 大型语言模型 ChatGPT 药物处方

📋 核心要点

  1. 药物处方文本格式不规范，包含多种语言、品牌名和缩写，难以解析，现有方法难以有效处理。
  2. 利用ChatGPT的文本生成能力，通过设计不同的prompt策略，实现药物信息的自动结构化和文本扩展。
  3. 实验结果表明，ChatGPT在NER和EX任务中表现良好，少样本学习能有效避免幻觉问题，提升安全性。

📝 摘要（中文）

本研究探讨了使用ChatGPT 3.5自动结构化和扩展出院总结中的药物信息，以提高人机可读性。研究采用命名实体识别（NER）和文本扩展（EX）技术，在零样本和少样本设置下，探索不同的提示策略。通过手动标注和整理的100条药物信息进行评估。NER性能采用严格和部分匹配进行衡量，EX任务由两位专家评估原始和扩展语句之间的语义等价性。模型性能通过精确率、召回率和F1分数进行评估。结果表明，对于NER任务，最佳提示策略在测试集上达到了0.94的平均F1分数。对于EX任务，少样本提示策略表现优于其他提示策略，平均F1分数为0.87。结论表明，ChatGPT在自由文本药物信息中进行NER和EX任务表现良好。与零样本基线相比，少样本方法可以有效防止系统产生幻觉，这对于处理安全相关的药物数据至关重要。

🔬 方法详解

问题定义：论文旨在解决药物处方中自由文本信息难以解析的问题。现有方法难以处理处方中混合语言、本地品牌名和各种缩写，导致信息提取和理解困难，容易出错。

核心思路：利用大型语言模型（LLM）ChatGPT的强大文本生成能力，通过设计合适的prompt，引导模型识别药物实体并进行文本扩展，从而将非结构化的处方文本转化为结构化、易于理解的信息。

技术框架：该研究主要包含两个任务：命名实体识别（NER）和文本扩展（EX）。首先，人工标注100条药物信息。然后，针对NER和EX任务，设计不同的prompt策略，包括零样本和少样本学习。最后，使用ChatGPT 3.5进行实验，并评估模型性能。NER性能使用严格和部分匹配的F1分数衡量，EX性能由专家评估语义等价性，并计算精确率、召回率和F1分数。

关键创新：该研究的关键创新在于利用预训练的LLM（ChatGPT）直接处理复杂的药物处方文本，无需大量特定领域的训练数据。通过巧妙设计prompt，实现了零样本和少样本的NER和EX任务，并取得了较好的效果。与传统的监督学习方法相比，该方法更具灵活性和泛化能力。

关键设计：prompt的设计是关键。对于少样本学习，需要选择合适的示例，以引导模型学习目标任务。实验中尝试了不同的prompt策略，包括不同的示例数量和示例内容。对于EX任务，需要确保扩展后的文本与原始文本在语义上等价，因此需要仔细评估模型生成的文本。

📊 实验亮点

实验结果表明，ChatGPT在药物处方文本的NER任务中，最佳prompt策略达到了0.94的平均F1分数。在EX任务中，少样本prompt策略表现最佳，平均F1分数为0.87。与零样本基线相比，少样本学习显著降低了模型产生幻觉的可能性，提高了结果的可靠性，这在医疗领域至关重要。

🎯 应用场景

该研究成果可应用于智能医疗领域，例如辅助医生进行处方审核、药物信息检索和患者用药指导。通过自动结构化和扩展药物信息，可以提高医疗效率，减少人为错误，并为患者提供更准确的用药建议。未来，该技术有望应用于更广泛的医疗文本处理任务，例如病历分析和医学知识图谱构建。

📄 摘要（原文）

Introduction: Medication prescriptions are often in free text and include a mix of two languages, local brand names, and a wide range of idiosyncratic formats and abbreviations. Large language models (LLMs) have shown promising ability to generate text in response to input prompts. We use ChatGPT 3.5 to automatically structure and expand medication statements in discharge summaries and thus make them easier to interpret for people and machines. Methods: Named-entity Recognition (NER) and Text Expansion (EX) are used in a zero- and few-shot setting with different prompt strategies. 100 medication statements were manually annotated and curated. NER performance was measured by using strict and partial matching. For the task EX, two experts interpreted the results by assessing semantic equivalence between original and expanded statements. The model performance was measured by precision, recall, and F1 score. Results: For NER, the best-performing prompt reached an average F1 score of 0.94 in the test set. For EX, the few-shot prompt showed superior performance among other prompts, with an average F1 score of 0.87. Conclusion: Our study demonstrates good performance for NER and EX tasks in free-text medication statements using ChatGPT. Compared to a zero-shot baseline, a few-shot approach prevented the system from hallucinating, which would be unacceptable when processing safety-relevant medication data.