IgnitionInnovators at "Discharge Me!": Chain-of-Thought Instruction Finetuning Large Language Models for Discharge Summaries

📄 arXiv: 2407.17636v1 📥 PDF

作者: An Quang Tang, Xiuzhen Zhang, Minh Ngoc Dinh

分类: cs.CL

发布日期: 2024-07-24

备注: Accepted by BioNLP2024 Workshop

🔗 代码/项目: GITHUB

💡 一句话要点

利用思维链指令微调大型语言模型，IgnitionInnovators 解决出院总结生成任务

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令微调 思维链 出院总结 医疗文本生成

📋 核心要点

  1. 现有出院总结生成方法在结构正确性和临床信息忠实性方面存在不足，难以满足实际需求。
  2. 论文提出一种基于思维链（CoT）指令微调的大型语言模型框架，优化模型对特定生成任务的适应性。
  3. 实验结果表明，该方法通过提供清晰的输出结构和CoT问题，有效提升了模型的推理能力和生成质量。

📝 摘要（中文）

本文介绍了我们在“Discharge Me!”共享任务中提出的方法，该任务与第23届生物医学自然语言处理研讨会（BioNLP）同期举行。在这项工作中，我们开发了一个基于大型语言模型（LLM）的框架，用于解决出院总结文档（DSD）任务，即生成出院总结中的两个关键目标部分：“简要住院过程”和“出院指导”。通过简化最近在LLM上的指令微调过程，我们探索了几种提示策略，以优化LLM对DSD特定生成任务的适应性。实验结果表明，提供清晰的输出结构，并辅以一套全面的思维链（CoT）问题，可以有效地提高模型的推理能力，从而增强生成文本中临床信息的结构正确性和忠实性。源代码可在https://github.com/antangrocket1312/Discharge_LLM 获取。

🔬 方法详解

问题定义：论文旨在解决出院总结文档（DSD）任务，具体而言是生成出院总结中的“简要住院过程”和“出院指导”两个关键部分。现有方法在生成这些部分时，往往难以保证结构正确性和临床信息的忠实性，导致生成质量不高，无法满足临床需求。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的生成能力，并通过指令微调的方式，使其更好地适应DSD任务。特别地，论文强调了思维链（CoT）提示的重要性，通过引导模型进行逐步推理，从而提高生成文本的质量。

技术框架：整体框架包括以下几个主要步骤：首先，选择一个预训练的LLM作为基础模型。然后，构建包含输入（例如患者病历）和目标输出（“简要住院过程”和“出院指导”）的训练数据集。接着，使用指令微调技术，在训练数据集上对LLM进行微调，使其学会根据输入生成目标输出。在微调过程中，采用CoT提示策略，即在输入中加入一系列问题，引导模型逐步推理，从而提高生成文本的质量。

关键创新：论文的关键创新在于将CoT提示策略应用于出院总结生成任务，并探索了不同的提示策略，以优化LLM对DSD任务的适应性。与传统的指令微调方法相比，该方法能够更好地利用LLM的推理能力，从而生成更结构化、更忠实于临床信息的文本。

关键设计：论文的关键设计包括：1) 设计清晰的输出结构，明确模型需要生成的文本的格式和内容；2) 构建一套全面的CoT问题，引导模型逐步推理，例如“患者的主要诊断是什么？”、“患者接受了哪些治疗？”、“患者出院后需要注意什么？”；3) 探索不同的CoT问题组合，以找到最优的提示策略；4) 使用标准的自然语言生成指标（例如BLEU、ROUGE）评估生成文本的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过提供清晰的输出结构和一套全面的CoT问题，该方法能够有效地提高模型的推理能力，从而增强生成文本中临床信息的结构正确性和忠实性。具体性能数据未知，但论文强调了CoT提示策略带来的显著提升。

🎯 应用场景

该研究成果可应用于智能医疗领域，辅助医生快速生成高质量的出院总结，减轻医生的工作负担，提高医疗效率。此外，该方法也可推广到其他医疗文本生成任务，例如病历摘要、诊断报告等，具有广阔的应用前景。

📄 摘要（原文）

This paper presents our proposed approach to the Discharge Me! shared task, collocated with the 23th Workshop on Biomedical Natural Language Processing (BioNLP). In this work, we develop an LLM-based framework for solving the Discharge Summary Documentation (DSD) task, i.e., generating the two critical target sections Brief Hospital Course' andDischarge Instructions' in the discharge summary. By streamlining the recent instruction-finetuning process on LLMs, we explore several prompting strategies for optimally adapting LLMs to specific generation task of DSD. Experimental results show that providing a clear output structure, complimented by a set of comprehensive Chain-of-Thoughts (CoT) questions, effectively improves the model's reasoning capability, and thereby, enhancing the structural correctness and faithfulness of clinical information in the generated text. Source code is available at: https://github.com/antangrocket1312/Discharge_LLM