Fine-Tuning a Local LLaMA-3 Large Language Model for Automated Privacy-Preserving Physician Letter Generation in Radiation Oncology

📄 arXiv: 2408.10715v1 📥 PDF

作者: Yihao Hou, Christoph Bert, Ahmed Gomaa, Godehard Lahmer, Daniel Hoefler, Thomas Weissmann, Raphaela Voigt, Philipp Schubert, Charlotte Schmitter, Alina Depardon, Sabine Semrau, Andreas Maier, Rainer Fietkau, Yixing Huang, Florian Putz

分类: cs.AI

发布日期: 2024-08-20

💡 一句话要点

通过本地微调LLaMA-3大语言模型，实现辐射肿瘤科的自动化隐私保护型医生信函生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 本地微调 辐射肿瘤 医生信函生成 隐私保护 QLoRA 自动化文档生成

📋 核心要点

  1. 临床实践中医生信函耗时，现有方法效率低且可能泄露患者隐私。
  2. 利用QLoRA算法在本地微调LLaMA-3模型，学习机构特定风格和辐射肿瘤知识。
  3. 实验表明，微调后的LLaMA-3在医生信函生成方面表现良好，临床专家评价高。

📝 摘要（中文）

本研究探讨了在辐射肿瘤领域，如何通过本地微调大型语言模型（LLM），特别是LLaMA模型，以隐私保护的方式自动生成医生信函。研究表明，未经微调的基础LLaMA模型无法有效生成医生信函。QLoRA算法提供了一种高效的方法，可以在有限的计算资源（例如，医院内单个48 GB GPU工作站）下，对LLM进行本地机构内微调。微调后的LLM成功学习了辐射肿瘤科的特定信息，并生成了具有机构特定风格的医生信函。生成的摘要报告的ROUGE评分表明，8B LLaMA-3模型优于13B LLaMA-2模型。对10个病例的多维度医生评估显示，虽然微调后的LLaMA-3模型生成超出输入数据的内容的能力有限，但它成功生成了问候语、诊断和治疗历史、进一步治疗的建议以及计划的时间表。总体而言，临床专家对临床益处的评价很高（在4分制中平均得分为3.44）。经过仔细的医生审查和更正，基于LLM的自动化医生信函生成具有显著的实际价值。

🔬 方法详解

问题定义：该论文旨在解决辐射肿瘤科医生信函生成耗时的问题。现有方法依赖于手动编写，效率低下，且在数据传输和存储过程中存在潜在的患者隐私泄露风险。因此，需要一种自动化、高效且隐私保护的医生信函生成方法。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力，通过在本地机构内对LLM进行微调，使其能够学习辐射肿瘤科的特定知识和机构风格，从而实现自动化医生信函生成。本地微调保证了数据隐私，避免了将敏感数据传输到外部服务器。

技术框架：整体框架包括以下几个阶段：1) 选择合适的LLM作为基础模型（LLaMA-3）。2) 使用QLoRA算法在本地计算资源上对LLM进行微调。3) 使用辐射肿瘤科的医生信函数据作为训练数据。4) 使用ROUGE评分和医生评估对生成的信函进行评估。

关键创新：该论文的关键创新在于将本地微调的LLM应用于辐射肿瘤科医生信函生成，并验证了其可行性和有效性。与直接使用通用LLM相比，本地微调可以更好地适应特定领域的知识和机构风格，提高生成信函的质量和实用性。同时，QLoRA算法的使用降低了微调的计算资源需求，使得在医院内部署成为可能。

关键设计：论文使用了QLoRA算法进行高效微调，允许在资源受限的环境下进行模型训练。选择了LLaMA-3作为基础模型，并比较了不同大小的模型（8B和13B）的性能。使用ROUGE评分作为自动评估指标，并结合医生的主观评估，从多个维度评价生成信函的质量，包括问候语、诊断、治疗历史、建议和计划等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过本地微调的LLaMA-3模型在辐射肿瘤科医生信函生成方面表现出色。ROUGE评分显示，8B LLaMA-3模型优于13B LLaMA-2模型。医生评估结果显示，模型能够成功生成问候语、诊断和治疗历史等关键信息，临床专家对临床益处的平均评分为3.44（满分4分）。

🎯 应用场景

该研究成果可应用于医疗领域的自动化文档生成，例如病历摘要、出院总结等。通过本地微调和隐私保护技术，可以在保证患者隐私的前提下，提高医疗工作效率，减轻医护人员的负担。未来，该方法可以推广到其他医学专科，甚至其他需要专业文档生成的领域。

📄 摘要（原文）

Generating physician letters is a time-consuming task in daily clinical practice. This study investigates local fine-tuning of large language models (LLMs), specifically LLaMA models, for physician letter generation in a privacy-preserving manner within the field of radiation oncology. Our findings demonstrate that base LLaMA models, without fine-tuning, are inadequate for effectively generating physician letters. The QLoRA algorithm provides an efficient method for local intra-institutional fine-tuning of LLMs with limited computational resources (i.e., a single 48 GB GPU workstation within the hospital). The fine-tuned LLM successfully learns radiation oncology-specific information and generates physician letters in an institution-specific style. ROUGE scores of the generated summary reports highlight the superiority of the 8B LLaMA-3 model over the 13B LLaMA-2 model. Further multidimensional physician evaluations of 10 cases reveal that, although the fine-tuned LLaMA-3 model has limited capacity to generate content beyond the provided input data, it successfully generates salutations, diagnoses and treatment histories, recommendations for further treatment, and planned schedules. Overall, clinical benefit was rated highly by the clinical experts (average score of 3.44 on a 4-point scale). With careful physician review and correction, automated LLM-based physician letter generation has significant practical value.