A Comparative Study of Recent Large Language Models on Generating Hospital Discharge Summaries for Lung Cancer Patients

📄 arXiv: 2411.03805v1 📥 PDF

作者: Yiming Li, Fang Li, Kirk Roberts, Licong Cui, Cui Tao, Hua Xu

分类: cs.CL

发布日期: 2024-11-06

DOI: 10.1016/j.jbi.2025.104867

💡 一句话要点

对比研究大型语言模型在生成肺癌患者出院总结中的表现，发现LLaMA 3具有优势

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 出院总结 医疗文本摘要 LLaMA 3 临床应用

📋 核心要点

  1. 临床出院总结耗时且易出错，影响医疗效率和患者护理质量。
  2. 利用大型语言模型自动生成出院总结，旨在减轻医护人员负担，提升工作效率。
  3. 实验对比了GPT系列和LLaMA 3等模型，发现LLaMA 3在简洁性和临床相关性上表现突出。

📝 摘要（中文）

生成出院总结是临床实践中一项关键但耗时的任务，对于传递相关的患者信息和促进护理的连续性至关重要。 近年来，大型语言模型（LLM）的进步显著提高了它们理解和总结复杂医学文本的能力。 本研究旨在探讨LLM如何减轻手动总结的负担，简化工作流程效率，并支持医疗保健环境中的知情决策。 研究使用了1099名肺癌患者的临床笔记，其中50名患者的子集用于测试，102名患者用于模型微调。 本研究评估了包括GPT-3.5、GPT-4、GPT-4o和LLaMA 3 8b在内的多个LLM在生成出院总结方面的性能。 评估指标包括token级别的分析（BLEU、ROUGE-1、ROUGE-2、ROUGE-L）以及模型生成的摘要与医生撰写的黄金标准之间的语义相似性得分。 LLaMA 3 8b还在不同长度的临床笔记上进行了测试，以检查其性能的稳定性。 研究发现，LLM在总结能力方面存在显著差异。 GPT-4o和微调后的LLaMA 3表现出卓越的token级别评估指标，而LLaMA 3在不同的输入长度下始终产生简洁的摘要。 语义相似性得分表明GPT-4o和LLaMA 3是捕捉临床相关性的领先模型。 这项研究为LLM生成出院总结的有效性提供了见解，突出了LLaMA 3在保持不同临床背景下的清晰度和相关性方面的稳健性能。 这些发现强调了自动化总结工具在提高文档精确性和效率方面的潜力，最终改善患者护理和医疗保健机构的运营能力。

🔬 方法详解

问题定义：论文旨在解决临床实践中手动生成出院总结耗时且容易出错的问题。现有方法依赖人工，效率低，且可能因人为因素导致信息遗漏或偏差。

核心思路：论文的核心思路是利用大型语言模型（LLMs）强大的文本理解和生成能力，自动从患者的临床笔记中提取关键信息，并生成高质量的出院总结。通过自动化流程，减少人工干预，提高效率和准确性。

技术框架：整体框架包括数据预处理、模型训练/微调、摘要生成和评估四个主要阶段。首先，对临床笔记进行清洗和格式化。然后，选择合适的LLM（如GPT-3.5, GPT-4, GPT-4o, LLaMA 3 8b），并使用部分数据进行微调。接着，使用微调后的模型生成出院总结。最后，使用BLEU、ROUGE等指标以及语义相似度评估生成的摘要质量。

关键创新：该研究的关键创新在于对不同LLM在生成出院总结任务上的性能进行了全面的对比分析，并特别关注了LLaMA 3在不同输入长度下的稳定性和简洁性。此外，研究还采用了token级别和语义级别的双重评估标准，更全面地衡量了摘要的质量。

关键设计：研究中，LLaMA 3 8b模型在102名患者的临床笔记上进行了微调。评估指标包括BLEU、ROUGE-1、ROUGE-2、ROUGE-L等token级别的指标，以及语义相似度得分。LLaMA 3在不同长度的临床笔记上进行了测试，以评估其性能的稳定性。

📊 实验亮点

实验结果表明，GPT-4o和微调后的LLaMA 3在token级别评估指标上表现优异。LLaMA 3在不同输入长度下均能生成简洁的摘要，且在语义相似性方面表现突出，表明其能有效捕捉临床相关性。这些结果验证了LLM在医疗文本自动摘要方面的潜力。

🎯 应用场景

该研究成果可应用于医疗机构，辅助医生快速生成高质量的出院总结，减少文书工作负担，提升医疗效率。此外，该技术还可扩展到其他医疗文档的自动生成，如病历摘要、诊断报告等，具有广阔的应用前景，并有望提升患者护理质量。

📄 摘要（原文）

Generating discharge summaries is a crucial yet time-consuming task in clinical practice, essential for conveying pertinent patient information and facilitating continuity of care. Recent advancements in large language models (LLMs) have significantly enhanced their capability in understanding and summarizing complex medical texts. This research aims to explore how LLMs can alleviate the burden of manual summarization, streamline workflow efficiencies, and support informed decision-making in healthcare settings. Clinical notes from a cohort of 1,099 lung cancer patients were utilized, with a subset of 50 patients for testing purposes, and 102 patients used for model fine-tuning. This study evaluates the performance of multiple LLMs, including GPT-3.5, GPT-4, GPT-4o, and LLaMA 3 8b, in generating discharge summaries. Evaluation metrics included token-level analysis (BLEU, ROUGE-1, ROUGE-2, ROUGE-L) and semantic similarity scores between model-generated summaries and physician-written gold standards. LLaMA 3 8b was further tested on clinical notes of varying lengths to examine the stability of its performance. The study found notable variations in summarization capabilities among LLMs. GPT-4o and fine-tuned LLaMA 3 demonstrated superior token-level evaluation metrics, while LLaMA 3 consistently produced concise summaries across different input lengths. Semantic similarity scores indicated GPT-4o and LLaMA 3 as leading models in capturing clinical relevance. This study contributes insights into the efficacy of LLMs for generating discharge summaries, highlighting LLaMA 3's robust performance in maintaining clarity and relevance across varying clinical contexts. These findings underscore the potential of automated summarization tools to enhance documentation precision and efficiency, ultimately improving patient care and operational capability in healthcare settings.