Edinburgh Clinical NLP at MEDIQA-CORR 2024: Guiding Large Language Models with Hints

📄 arXiv: 2405.18028v1 📥 PDF

作者: Aryo Pradipta Gema, Chaeeun Lee, Pasquale Minervini, Luke Daines, T. Ian Simpson, Beatrice Alex

分类: cs.CL, cs.AI

发布日期: 2024-05-28

💡 一句话要点

利用提示引导大型语言模型，解决临床笔记中的医疗错误识别与纠正问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗错误纠正 大型语言模型 提示工程 临床自然语言处理 错误跨度预测

📋 核心要点

  1. 现有大型语言模型在医疗错误纠正方面存在局限性，仅依赖提示策略难以保证准确性。
  2. 论文提出利用小型微调模型预测错误跨度，并将其作为提示或多项选择题引导大型语言模型。
  3. 实验结果表明，该提示策略显著提升了大型语言模型生成正确医疗纠正的能力，并在MEDIQA-CORR 2024中取得第六名。

📝 摘要（中文）

MEDIQA-CORR 2024共享任务旨在评估大型语言模型（LLM）识别和纠正临床笔记中医疗错误的能力。本研究评估了通用LLM，特别是GPT-3.5和GPT-4，在多种提示策略下识别和纠正医疗错误的能力。考虑到LLM仅通过提示策略生成准确更正的局限性，我们提出结合来自较小的、微调模型的错误跨度预测，方法有两种：1）将其作为提示呈现给LLM；2）将其构建为多项选择题，供LLM选择最佳更正。我们发现，我们提出的提示策略显著提高了LLM生成更正的能力。我们表现最佳的解决方案（8-shot + CoT + 提示）在共享任务排行榜中排名第六。此外，我们的综合分析显示了错误句子位置、提示角色以及多项选择选项位置对LLM准确性的影响。这引发了关于LLM在现实临床环境中实施准备情况的进一步问题。

🔬 方法详解

问题定义：论文旨在解决临床笔记中医疗错误的自动识别与纠正问题。现有方法，特别是直接使用大型语言模型进行纠正，往往受限于模型的幻觉问题和对医疗知识的理解不足，导致纠正结果不准确。仅仅依赖prompt工程难以达到理想效果。

核心思路：论文的核心思路是利用一个小型、专门微调过的模型来预测错误跨度，并将这些预测信息以提示（hints）的形式提供给大型语言模型。通过这种方式，大型语言模型可以更好地聚焦于需要纠正的部分，并利用其强大的生成能力进行更准确的纠正。此外，论文还尝试将错误纠正问题转化为多项选择题，进一步引导大型语言模型做出正确的选择。

技术框架：整体框架包含两个主要阶段：1) 错误跨度预测阶段：使用一个小型模型（具体模型未知，但经过微调）来预测临床笔记中可能存在的错误跨度。2) 错误纠正阶段：将错误跨度预测结果以两种方式融入到大型语言模型的prompt中：a) 作为提示信息直接添加到prompt中；b) 将错误纠正问题转化为多项选择题，其中一个选项是基于错误跨度预测生成的。然后，使用大型语言模型（GPT-3.5或GPT-4）对prompt进行处理，生成最终的纠正结果。

关键创新：论文的关键创新在于将小型模型的错误跨度预测与大型语言模型的生成能力相结合。这种方法有效地弥补了大型语言模型在医疗知识理解和错误定位方面的不足，提高了纠正的准确性。与直接使用大型语言模型进行纠正相比，该方法能够更好地利用模型的优势，并避免其固有缺陷。

关键设计：论文中涉及的关键设计包括：1) 小型模型的微调策略（具体细节未知，但目标是提高错误跨度预测的准确性）。2) 提示信息的构建方式：如何将错误跨度预测结果有效地融入到prompt中，以最大程度地引导大型语言模型。3) 多项选择题的设计：如何生成合理的选项，并确保正确答案能够被大型语言模型识别。4) 使用了8-shot学习和CoT (Chain-of-Thought) prompting技术来提升LLM的性能，具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合错误跨度提示的策略显著提升了GPT-3.5和GPT-4在医疗错误纠正任务上的性能。最佳模型（8-shot + CoT + 提示）在MEDIQA-CORR 2024共享任务中排名第六。此外，论文还分析了错误句子位置、提示角色和多项选择题选项位置对模型性能的影响，为后续研究提供了有价值的参考。

🎯 应用场景

该研究成果可应用于医疗领域的临床决策支持系统，辅助医生进行病历审查和错误纠正，提高医疗质量和效率。未来，该方法可以扩展到其他医疗文本处理任务，例如医学文献摘要、患者咨询回复等，具有广阔的应用前景。

📄 摘要（原文）

The MEDIQA-CORR 2024 shared task aims to assess the ability of Large Language Models (LLMs) to identify and correct medical errors in clinical notes. In this study, we evaluate the capability of general LLMs, specifically GPT-3.5 and GPT-4, to identify and correct medical errors with multiple prompting strategies. Recognising the limitation of LLMs in generating accurate corrections only via prompting strategies, we propose incorporating error-span predictions from a smaller, fine-tuned model in two ways: 1) by presenting it as a hint in the prompt and 2) by framing it as multiple-choice questions from which the LLM can choose the best correction. We found that our proposed prompting strategies significantly improve the LLM's ability to generate corrections. Our best-performing solution with 8-shot + CoT + hints ranked sixth in the shared task leaderboard. Additionally, our comprehensive analyses show the impact of the location of the error sentence, the prompted role, and the position of the multiple-choice option on the accuracy of the LLM. This prompts further questions about the readiness of LLM to be implemented in real-world clinical settings.