Hybrid Student-Teacher Large Language Model Refinement for Cancer Toxicity Symptom Extraction

📄 arXiv: 2408.04775v1 📥 PDF

作者: Reza Khanmohammadi, Ahmed I. Ghanem, Kyle Verdecchia, Ryan Hall, Mohamed Elshaikh, Benjamin Movsas, Hassan Bagher-Ebadian, Bing Luo, Indrin J. Chetty, Tuka Alhanai, Kundan Thind, Mohammad M. Ghassemi

分类: cs.CL, cs.IR

发布日期: 2024-08-08

💡 一句话要点

提出混合师生大型语言模型优化方法，用于癌症毒性症状提取。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识蒸馏 检索增强生成 临床症状提取 癌症毒性 医疗文本挖掘 师生学习

📋 核心要点

  1. 现有大型语言模型在临床症状提取方面潜力巨大，但面临隐私、算力和成本挑战。
  2. 论文提出一种混合师生架构的迭代优化方法，动态选择提示优化、RAG和微调策略。
  3. 实验表明，RAG方法显著提升了紧凑型LLM的准确率，同时大幅降低了计算成本。

📝 摘要（中文）

本研究探索了紧凑型大型语言模型（LLM）在癌症毒性症状提取中的优化方法，旨在解决医疗环境中隐私、计算资源和成本限制等问题。采用师生架构，利用Zephyr-7b-beta和Phi3-mini-128作为学生模型，GPT-4o作为教师模型，动态选择提示优化、检索增强生成（RAG）和微调策略。在包含12种放疗后毒性症状的294份临床笔记上的实验表明，RAG方法最为有效，Zephyr-7b-beta的平均准确率从0.32提高到0.73，Phi3-mini-128从0.40提高到0.87。在测试集上，两种模型的症状准确率均提高了约0.20。值得注意的是，这种改进的成本分别比GPT-4o低45倍（Zephyr）和79倍（Phi-3）。结果表明，迭代优化技术能够有效提升紧凑型LLM在临床应用中的能力，在性能、成本效益和医疗环境中的隐私保护之间取得平衡。

🔬 方法详解

问题定义：论文旨在解决在医疗领域利用大型语言模型进行癌症毒性症状提取时面临的隐私保护、计算资源限制和运营成本高昂的问题。现有方法要么依赖于大型模型，成本高且存在隐私泄露风险，要么使用小型模型但性能不足。

核心思路：核心思路是利用一个强大的教师模型（GPT-4o）来指导和优化较小的学生模型（Zephyr-7b-beta和Phi3-mini-128）。通过迭代地选择最佳策略（提示优化、RAG或微调），逐步提升学生模型在特定任务上的性能，使其在保持较低计算成本的同时，达到接近教师模型的准确率。这种方法旨在实现性能、成本和隐私之间的平衡。

技术框架：整体框架包含以下几个主要阶段：1) 初始化：使用Zephyr-7b-beta和Phi3-mini-128作为学生模型，GPT-4o作为教师模型。2) 策略选择：根据当前学生模型的性能，动态选择三种优化策略之一：提示优化、RAG或微调。3) 知识蒸馏：利用教师模型生成的数据或反馈来指导学生模型的学习。4) 迭代优化：重复策略选择和知识蒸馏过程，直到学生模型达到预定的性能指标或达到迭代次数上限。5) 评估：在独立的测试集上评估最终学生模型的性能。

关键创新：关键创新在于动态策略选择机制和混合师生学习框架。传统的知识蒸馏方法通常采用固定的训练策略，而该论文提出的方法能够根据学生模型的学习状态，自适应地选择最有效的优化策略。此外，结合了提示优化、RAG和微调等多种技术，充分利用了不同方法的优势。

关键设计：论文中，RAG方法是提升效果最显著的策略。具体实现中，需要设计合适的检索策略，从临床笔记数据库中检索相关信息，并将其融入到LLM的输入中。此外，提示工程也至关重要，需要设计清晰、明确的提示语，引导LLM准确地提取毒性症状。损失函数的设计需要根据具体的优化策略进行调整，例如，在微调阶段，可以使用交叉熵损失函数来优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用RAG方法后，Zephyr-7b-beta的平均准确率从0.32提高到0.73，Phi3-mini-128的平均准确率从0.40提高到0.87。在测试集上，两种模型的症状准确率均提高了约0.20。重要的是，这种性能提升的成本远低于使用GPT-4o直接进行症状提取，Zephyr的成本降低了45倍，Phi-3的成本降低了79倍。

🎯 应用场景

该研究成果可应用于临床决策支持系统，辅助医生进行癌症治疗副作用的监测和管理。通过自动提取临床笔记中的毒性症状信息，可以提高诊疗效率，减少人为错误，并为患者提供更个性化的治疗方案。此外，该方法还可推广到其他医疗领域的文本信息提取任务，例如疾病诊断、药物不良反应监测等。

📄 摘要（原文）

Large Language Models (LLMs) offer significant potential for clinical symptom extraction, but their deployment in healthcare settings is constrained by privacy concerns, computational limitations, and operational costs. This study investigates the optimization of compact LLMs for cancer toxicity symptom extraction using a novel iterative refinement approach. We employ a student-teacher architecture, utilizing Zephyr-7b-beta and Phi3-mini-128 as student models and GPT-4o as the teacher, to dynamically select between prompt refinement, Retrieval-Augmented Generation (RAG), and fine-tuning strategies. Our experiments on 294 clinical notes covering 12 post-radiotherapy toxicity symptoms demonstrate the effectiveness of this approach. The RAG method proved most efficient, improving average accuracy scores from 0.32 to 0.73 for Zephyr-7b-beta and from 0.40 to 0.87 for Phi3-mini-128 during refinement. In the test set, both models showed an approximate 0.20 increase in accuracy across symptoms. Notably, this improvement was achieved at a cost 45 times lower than GPT-4o for Zephyr and 79 times lower for Phi-3. These results highlight the potential of iterative refinement techniques in enhancing the capabilities of compact LLMs for clinical applications, offering a balance between performance, cost-effectiveness, and privacy preservation in healthcare settings.