Closing the gap between open-source and commercial large language models for medical evidence summarization

📄 arXiv: 2408.00588v1 📥 PDF

作者: Gongbo Zhang, Qiao Jin, Yiliang Zhou, Song Wang, Betina R. Idnay, Yiming Luo, Elizabeth Park, Jordan G. Nestor, Matthew E. Spotnitz, Ali Soroush, Thomas Campion, Zhiyong Lu, Chunhua Weng, Yifan Peng

分类: cs.CL, cs.AI

发布日期: 2024-07-25

💡 一句话要点

通过微调开源大语言模型，提升医疗证据总结性能至可与商业模型媲美

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学证据总结 大型语言模型 开源模型 微调 MedReview数据集

📋 核心要点

  1. 现有医学证据总结方法依赖商业LLM，存在透明度低和供应商依赖风险，开源LLM性能不足。
  2. 通过在MedReview数据集上微调PRIMERA、LongT5和Llama-2等开源LLM，提升其医学证据总结能力。
  3. 实验表明，微调显著提升了ROUGE-L、METEOR和CHRF指标，部分模型性能接近甚至超过GPT-3.5。

📝 摘要（中文）

大型语言模型（LLMs）在总结医学证据方面具有巨大潜力。目前的研究主要集中在使用专有LLMs，但存在缺乏透明度和供应商依赖等风险。开源LLMs虽然具有更好的透明性和可定制性，但性能不如专有模型。本研究探讨了通过微调开源LLMs，在医学证据总结任务中进一步提高其性能的潜力。我们利用包含8161个系统评价和摘要对的MedReview基准数据集，对三个广泛使用的开源LLMs（PRIMERA、LongT5和Llama-2）进行了微调。结果表明，微调后的LLMs在ROUGE-L指标上平均提高了9.89（95%置信区间：8.94-10.81），METEOR得分提高了13.21（95%置信区间：12.05-14.37），CHRF得分提高了15.82（95%置信区间：13.89-16.44）。微调后的LongT5的性能接近于零样本设置下的GPT-3.5。此外，较小的微调模型有时甚至表现出优于较大的零样本模型的性能。上述改进趋势在人工评估和GPT4模拟评估中也得到了体现。我们的研究结果可用于指导对特定领域知识有要求的任务（如医学证据总结）的模型选择。

🔬 方法详解

问题定义：论文旨在解决开源大型语言模型（LLMs）在医学证据总结任务中性能不足的问题。现有方法主要依赖于商业LLMs，但这些模型缺乏透明度，存在供应商依赖风险，且定制性较差。开源LLMs虽然提供了透明性和定制性，但在性能上与商业模型存在差距，限制了其在医学领域的应用。

核心思路：论文的核心思路是通过在医学证据总结的特定数据集上对开源LLMs进行微调，使其能够更好地理解和处理医学领域的文本信息，从而提升其在该任务上的性能。通过微调，模型可以学习到医学领域的特定知识和表达方式，弥补与商业模型之间的差距。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择合适的开源LLMs，包括PRIMERA、LongT5和Llama-2；2) 使用MedReview数据集对这些模型进行微调；3) 使用ROUGE-L、METEOR和CHRF等指标评估微调后的模型性能；4) 进行人工评估和GPT4模拟评估，验证模型改进的有效性。

关键创新：该研究的关键创新在于证明了通过微调开源LLMs，可以显著提升其在医学证据总结任务中的性能，使其能够与商业模型相媲美。此外，研究还发现，较小的微调模型有时甚至可以超越较大的零样本模型，这表明微调在特定领域知识学习方面具有重要作用。

关键设计：研究使用了MedReview数据集进行微调，该数据集包含8161个系统评价和摘要对，为模型提供了丰富的医学领域知识。研究人员针对不同的模型采用了不同的微调策略，并对超参数进行了优化，以获得最佳性能。具体的参数设置和损失函数等技术细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调后的开源LLMs在ROUGE-L、METEOR和CHRF指标上分别平均提高了9.89、13.21和15.82。微调后的LongT5的性能接近于零样本设置下的GPT-3.5。更令人惊讶的是，较小的微调模型有时甚至表现出优于较大的零样本模型的性能，这突显了微调在特定领域知识学习中的重要性。

🎯 应用场景

该研究成果可应用于医疗信息检索、临床决策支持、医学研究等领域。通过提升开源LLM在医学证据总结方面的能力，可以帮助医生和研究人员更高效地获取和理解医学文献，从而提高医疗质量和研究效率。未来，该方法可以推广到其他专业领域，促进开源LLM在各行业的应用。

📄 摘要（原文）

Large language models (LLMs) hold great promise in summarizing medical evidence. Most recent studies focus on the application of proprietary LLMs. Using proprietary LLMs introduces multiple risk factors, including a lack of transparency and vendor dependency. While open-source LLMs allow better transparency and customization, their performance falls short compared to proprietary ones. In this study, we investigated to what extent fine-tuning open-source LLMs can further improve their performance in summarizing medical evidence. Utilizing a benchmark dataset, MedReview, consisting of 8,161 pairs of systematic reviews and summaries, we fine-tuned three broadly-used, open-sourced LLMs, namely PRIMERA, LongT5, and Llama-2. Overall, the fine-tuned LLMs obtained an increase of 9.89 in ROUGE-L (95% confidence interval: 8.94-10.81), 13.21 in METEOR score (95% confidence interval: 12.05-14.37), and 15.82 in CHRF score (95% confidence interval: 13.89-16.44). The performance of fine-tuned LongT5 is close to GPT-3.5 with zero-shot settings. Furthermore, smaller fine-tuned models sometimes even demonstrated superior performance compared to larger zero-shot models. The above trends of improvement were also manifested in both human and GPT4-simulated evaluations. Our results can be applied to guide model selection for tasks demanding particular domain knowledge, such as medical evidence summarization.