Chain-of-Though (CoT) prompting strategies for medical error detection and correction

📄 arXiv: 2406.09103v1 📥 PDF

作者: Zhaolong Wu, Abul Hasan, Jinge Wu, Yunsoo Kim, Jason P. Y. Cheung, Teng Zhang, Honghan Wu

分类: cs.CL

发布日期: 2024-06-13

备注: accepted as NAACL workshop

💡 一句话要点

针对医疗错误检测与纠正，提出结合思维链（CoT）提示策略的ICL方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗错误检测 思维链 上下文学习 大型语言模型 临床笔记

📋 核心要点

  1. 现有医疗错误检测方法缺乏有效利用上下文信息进行推理的能力，导致准确率受限。
  2. 论文提出结合人工分析和LLM自动生成CoT提示的ICL方法，增强模型推理能力。
  3. 实验结果表明，该方法在医疗错误检测和纠正任务中取得了较好的性能，具有竞争力。

📝 摘要（中文）

本文介绍了我们参加MEDIQA-CORR 2024共享任务的提交方案，该任务旨在自动检测和纠正临床笔记中的医疗错误。我们报告了三种基于大型语言模型（LLM）的少样本上下文学习（ICL）方法的结果，这些方法都增强了思维链（CoT）和推理提示。第一种方法，我们手动分析训练和验证数据集的一个子集，通过检查临床笔记中的错误类型来推断三个CoT提示。第二种方法，我们利用训练数据集来提示LLM推导出关于其正确性或不正确性的原因。然后，将构建的CoT和原因与ICL示例相结合，以解决错误检测、跨度识别和错误纠正的任务。最后，我们使用基于规则的集成方法结合了这两种方法。在三个子任务中，我们的集成方法在子任务1和子任务2中均排名第三，在所有提交的方案中，子任务3中排名第七。

🔬 方法详解

问题定义：论文旨在解决临床笔记中医疗错误的自动检测和纠正问题。现有方法通常依赖于有限的上下文信息，难以进行深入推理，导致错误检测和纠正的准确率不高。此外，如何有效地利用大型语言模型（LLM）的推理能力也是一个挑战。

核心思路：论文的核心思路是利用思维链（CoT）提示策略增强LLM的推理能力，从而提高医疗错误检测和纠正的准确率。通过人工分析和LLM自动生成两种方式构建CoT提示，并将其与少样本上下文学习（ICL）相结合，使模型能够更好地理解上下文信息并进行推理。

技术框架：整体框架包括三个主要阶段：1) CoT提示构建：通过人工分析和LLM自动生成两种方式构建CoT提示。2) ICL示例构建：将构建的CoT提示与ICL示例相结合，形成完整的输入。3) 模型预测：使用LLM对输入进行预测，输出错误检测、跨度识别和错误纠正的结果。最后，使用基于规则的集成方法结合两种CoT提示方法的结果。

关键创新：论文的关键创新在于结合了人工分析和LLM自动生成两种方式构建CoT提示。人工分析可以提供高质量的CoT提示，但成本较高；LLM自动生成可以降低成本，但质量可能不如人工分析。通过结合两种方式，可以兼顾质量和效率。此外，使用基于规则的集成方法结合两种CoT提示方法的结果，进一步提高了性能。

关键设计：论文的关键设计包括：1) 人工分析CoT提示时，仔细分析训练和验证数据集，总结不同类型的医疗错误，并设计相应的CoT提示。2) LLM自动生成CoT提示时，使用训练数据集提示LLM推导出关于其正确性或不正确性的原因。3) 基于规则的集成方法，根据两种CoT提示方法的预测结果，使用预定义的规则进行集成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在MEDIQA-CORR 2024共享任务的三个子任务中均取得了较好的性能，其中子任务1和子任务2排名第三，子任务3排名第七。这表明该方法在医疗错误检测和纠正任务中具有竞争力，能够有效提高模型的准确率和召回率。

🎯 应用场景

该研究成果可应用于医疗领域的临床辅助决策支持系统，帮助医生和护士检测和纠正临床笔记中的医疗错误，提高医疗质量和安全性，减少医疗事故的发生。未来可扩展到其他医疗文本处理任务，如病历摘要、医学报告生成等。

📄 摘要（原文）

This paper describes our submission to the MEDIQA-CORR 2024 shared task for automatically detecting and correcting medical errors in clinical notes. We report results for three methods of few-shot In-Context Learning (ICL) augmented with Chain-of-Thought (CoT) and reason prompts using a large language model (LLM). In the first method, we manually analyse a subset of train and validation dataset to infer three CoT prompts by examining error types in the clinical notes. In the second method, we utilise the training dataset to prompt the LLM to deduce reasons about their correctness or incorrectness. The constructed CoTs and reasons are then augmented with ICL examples to solve the tasks of error detection, span identification, and error correction. Finally, we combine the two methods using a rule-based ensemble method. Across the three sub-tasks, our ensemble method achieves a ranking of 3rd for both sub-task 1 and 2, while securing 7th place in sub-task 3 among all submissions.