BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing

📄 arXiv: 2310.19975v3 📥 PDF

作者: Hieu Tran, Zhichao Yang, Zonghai Yao, Hong Yu

分类: cs.CL, cs.AI

发布日期: 2023-10-30 (更新: 2024-06-06)

备注: This article has been accepted for publication in Journal of the American Medical Informatics Association Published by Oxford University Press. https://academic.oup.com/jamia/advance-article-abstract/doi/10.1093/jamia/ocae122/7687618

💡 一句话要点

提出BioInstruct以提升生物医学自然语言处理性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物医学自然语言处理 指令调优 多任务学习 低秩适应 大型语言模型 数据集构建 性能提升

📋 核心要点

  1. 现有的生物医学自然语言处理模型在特定任务上表现不佳，缺乏针对性的指令调优。
  2. 本文提出了BioInstruct数据集，通过多任务学习原则对大型语言模型进行指令调优，提升其在BioNLP中的表现。
  3. 实验结果显示，指令调优的LLMs在问答、信息提取和文本生成任务上分别提升17.3%、5.7%和96%。

📝 摘要（中文）

为提升大型语言模型（LLMs）在生物医学自然语言处理（BioNLP）中的表现，本文引入了一个特定领域的指令数据集，并探讨其与多任务学习原则结合时的影响。我们创建了BioInstruct数据集，包含25,005条指令，用于对LLMs（LLaMA 1和2，7B和13B版本）进行指令调优。指令通过对GPT-4语言模型进行提示生成，基于80条人工策划的指令随机抽取的三条种子样本。我们采用低秩适应（LoRA）进行高效的参数微调，并在多个BioNLP任务上评估了这些指令调优的LLMs，结果显示在问答、信息提取和文本生成任务上均有显著提升。我们的研究结果表明，指令微调在相关任务上进行时，性能提升更为显著。

🔬 方法详解

问题定义：本文旨在解决现有生物医学自然语言处理模型在特定任务上的性能不足，尤其是缺乏针对性的指令调优方法。

核心思路：通过构建BioInstruct数据集，包含大量针对BioNLP任务的指令，结合多任务学习原则，对大型语言模型进行指令调优，以提升其在生物医学领域的表现。

技术框架：整体流程包括数据集构建、指令生成、模型微调和性能评估。首先，利用GPT-4生成指令，然后采用低秩适应（LoRA）方法对模型进行高效微调，最后在多个BioNLP任务上进行评估。

关键创新：BioInstruct数据集的构建及其与多任务学习的结合是本文的主要创新点，显著提升了模型在生物医学领域的任务表现。

关键设计：在微调过程中，采用LoRA进行参数高效调整，确保在保持模型性能的同时减少计算资源消耗。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，指令调优的LLMs在问答任务上提升17.3%，信息提取任务提升5.7%，而文本生成任务则提升高达96%。与未进行指令调优的模型相比，表现显著优越，尤其是在相关任务上，性能提升更为明显。

🎯 应用场景

该研究的潜在应用领域包括生物医学信息检索、临床决策支持系统和医学文本生成等。通过提升模型在BioNLP任务上的表现，BioInstruct为相关应用提供了强大的技术支持，未来可能推动生物医学研究和临床实践的智能化进程。

📄 摘要（原文）

To enhance the performance of large language models (LLMs) in biomedical natural language processing (BioNLP) by introducing a domain-specific instruction dataset and examining its impact when combined with multi-task learning principles. We created the BioInstruct, comprising 25,005 instructions to instruction-tune LLMs(LLaMA 1 & 2, 7B & 13B version). The instructions were created by prompting the GPT-4 language model with three-seed samples randomly drawn from an 80 human curated instructions. We employed Low-Rank Adaptation(LoRA) for parameter-efficient fine-tuning. We then evaluated these instruction-tuned LLMs on several BioNLP tasks, which can be grouped into three major categories: question answering(QA), information extraction(IE), and text generation(GEN). We also examined whether categories(e.g., QA, IE, and generation) of instructions impact model performance. Comparing with LLMs without instruction-tuned, our instruction-tuned LLMs demonstrated marked performance gains: 17.3% in QA, 5.7% in IE, and 96% in Generation tasks. Our 7B-parameter instruction-tuned LLaMA 1 model was competitive or even surpassed other LLMs in the biomedical domain that were also fine-tuned from LLaMA 1 with vast domain-specific data or a variety of tasks. Our results also show that the performance gain is significantly higher when instruction fine-tuning is conducted with closely related tasks. Our findings align with the observations of multi-task learning, suggesting the synergies between two tasks. The BioInstruct dataset serves as a valuable resource and instruction tuned LLMs lead to the best performing BioNLP applications.