Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction

📄 arXiv: 2310.06239v1 📥 PDF

作者: Cheng Peng, Xi Yang, Kaleb E Smith, Zehao Yu, Aokun Chen, Jiang Bian, Yonghui Wu

分类: cs.CL, cs.AI

发布日期: 2023-10-10

期刊: Journal of Biomedical Informatics. Volume 153, May 2024, 104630

DOI: 10.1016/j.jbi.2024.104630

💡 一句话要点

提出软提示学习算法以提升临床概念与关系提取性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床概念提取 关系提取 大型语言模型 软提示学习 迁移学习 少样本学习 多机构应用

📋 核心要点

  1. 现有的临床概念和关系提取方法在处理多机构数据时表现不佳，尤其是在少量样本学习和迁移学习方面存在局限。
  2. 本研究提出了一种基于软提示的学习算法，探索了不同的提示形状及其在冻结和未冻结LLMs中的应用效果。
  3. 实验结果显示，软提示方法在概念提取和关系提取任务中显著提高了性能，尤其是在跨机构设置下表现优异。

📝 摘要（中文）

本研究旨在开发基于软提示的学习算法，针对大型语言模型（LLMs）进行临床概念和关系提取的研究。研究比较了四种训练策略，包括不使用提示的微调、使用硬提示的微调、使用软提示的微调以及使用冻结LLMs的软提示。结果表明，当LLMs未冻结时，GatorTron-3.9B模型在概念提取任务中表现最佳，F1分数达到0.9118，超越传统微调和硬提示模型。冻结LLMs时，较大的模型在跨机构评估中表现出色，证明了软提示学习算法在多机构应用中的有效性。

🔬 方法详解

问题定义：本研究旨在解决现有临床概念和关系提取方法在多机构数据处理中的不足，尤其是在少样本学习和迁移学习能力方面的挑战。

核心思路：论文提出了一种基于软提示的学习算法，通过对提示形状的优化和不同训练策略的比较，提升LLMs在临床任务中的表现。

技术框架：整体架构包括四种训练策略的比较：不使用提示的微调、使用硬提示的未冻结LLMs、使用软提示的未冻结LLMs，以及使用软提示的冻结LLMs。每种策略在两个基准数据集上进行评估。

关键创新：最重要的创新在于提出了软提示学习算法，研究表明机器在学习软提示方面的能力优于人类，同时冻结LLMs在少样本学习和迁移学习中表现更佳。

关键设计：在实验中，使用了不同规模的GatorTron模型，特别是345M和8.9B参数的模型，评估了它们在不同训练策略下的性能表现。

📊 实验亮点

实验结果显示，未冻结的GatorTron-3.9B模型在概念提取中取得了0.9118的F1分数，超越传统微调和硬提示模型0.6~3.1%；在关系提取中，GatorTron-345M模型的F1分数为0.8332，优于其他模型0.2~11.7%。冻结的GatorTron-8.9B模型在跨机构评估中表现最佳，证明了软提示的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗文本分析、电子病历处理和临床决策支持系统。通过提升临床概念和关系提取的准确性，能够更好地支持医生的决策过程，促进多机构间的数据共享与合作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Objective To develop soft prompt-based learning algorithms for large language models (LLMs), examine the shape of prompts, prompt-tuning using frozen/unfrozen LLMs, transfer learning, and few-shot learning abilities. Methods We developed a soft prompt-based LLM model and compared 4 training strategies including (1) fine-tuning without prompts; (2) hard-prompt with unfrozen LLMs; (3) soft-prompt with unfrozen LLMs; and (4) soft-prompt with frozen LLMs. We evaluated 7 pretrained LLMs using the 4 training strategies for clinical concept and relation extraction on two benchmark datasets. We evaluated the transfer learning ability of the prompt-based learning algorithms in a cross-institution setting. We also assessed the few-shot learning ability. Results and Conclusion When LLMs are unfrozen, GatorTron-3.9B with soft prompting achieves the best strict F1-scores of 0.9118 and 0.8604 for concept extraction, outperforming the traditional fine-tuning and hard prompt-based models by 0.6~3.1% and 1.2~2.9%, respectively; GatorTron-345M with soft prompting achieves the best F1-scores of 0.8332 and 0.7488 for end-to-end relation extraction, outperforming the other two models by 0.2~2% and 0.6~11.7%, respectively. When LLMs are frozen, small (i.e., 345 million parameters) LLMs have a big gap to be competitive with unfrozen models; scaling LLMs up to billions of parameters makes frozen LLMs competitive with unfrozen LLMs. For cross-institute evaluation, soft prompting with a frozen GatorTron-8.9B model achieved the best performance. This study demonstrates that (1) machines can learn soft prompts better than humans, (2) frozen LLMs have better few-shot learning ability and transfer learning ability to facilitate muti-institution applications, and (3) frozen LLMs require large models.