AlpaCare:Instruction-tuned Large Language Models for Medical Application

📄 arXiv: 2310.14558v6 📥 PDF

作者: Xinlu Zhang, Chenxin Tian, Xianjun Yang, Lichang Chen, Zekun Li, Linda Ruth Petzold

分类: cs.CL, cs.AI

发布日期: 2023-10-23 (更新: 2025-03-31)

🔗 代码/项目: GITHUB

💡 一句话要点

提出AlpaCare以解决医疗领域LLM指令跟随能力不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医疗应用 指令微调 数据集生成 模型微调 性能评估 生物医学

📋 核心要点

  1. 现有方法主要依赖于有限多样性的生物医学数据集，导致医疗指令跟随能力不足。
  2. 本文提出生成多样化的医疗IFT数据集MedInstruct-52k，并在此基础上微调LLaMA系列模型以开发AlpaCare。
  3. AlpaCare在医疗应用中表现优异，较最佳基线提升38.1%，且在多个通用基准上平均提升6.7%。

📝 摘要（中文）

指令微调（IFT）在将大型语言模型（LLMs）与多样化人类需求对齐方面变得至关重要，并在医疗应用中展现出巨大潜力。然而，现有研究主要在有限多样性的生物医学数据集上进行微调，导致医疗指令跟随能力和泛化性受到显著限制。为此，本文提出使用GPT-4和ChatGPT生成多样化的医疗IFT数据集MedInstruct-52k，并在该数据集上对LLaMA系列模型进行微调，开发出AlpaCare。尽管使用的领域特定数据集规模小于以往医疗LLM，AlpaCare在医疗应用中表现出色，在医疗自由形式指令评估中相较于最佳基线实现了最高38.1%的绝对增益，并在多个通用领域基准上平均提升6.7%。人类评估进一步表明，AlpaCare在正确性和帮助性方面均优于最佳基线。我们提供了数据、模型和代码库的公开访问。

🔬 方法详解

问题定义：本文旨在解决现有医疗LLM在指令跟随能力和泛化性方面的不足，现有方法多依赖于有限的生物医学数据集，导致效果受限。

核心思路：通过生成多样化的医疗指令微调数据集MedInstruct-52k，利用GPT-4和ChatGPT的能力，来增强模型的指令跟随能力和适应性。

技术框架：整体流程包括数据集的生成、模型的微调和性能评估。首先，利用高质量的专家策划种子集生成多样化的指令数据集；然后，对LLaMA系列模型进行微调；最后，通过多种基准测试评估模型性能。

关键创新：最重要的创新在于创建了一个多样化的医疗指令微调数据集，显著提升了模型在医疗领域的表现，与以往方法相比，AlpaCare在指令跟随能力上具有更好的泛化性。

关键设计：在模型微调过程中，采用了特定的损失函数和参数设置，以确保模型能够更好地理解和生成医疗相关的指令响应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AlpaCare在医疗自由形式指令评估中实现了最高38.1%的绝对增益，相较于最佳基线表现出色。此外，在多个通用领域基准上，AlpaCare平均提升了6.7%，显示出其在不同任务上的优越性。

🎯 应用场景

该研究的潜在应用领域包括医疗咨询、临床决策支持和患者教育等。AlpaCare能够为医疗专业人员和患者提供更准确、及时的建议，提升医疗服务的效率和质量。未来，该模型有望在更广泛的医疗场景中应用，推动智能医疗的发展。

📄 摘要（原文）

Instruction-finetuning (IFT) has become crucial in aligning Large Language Models (LLMs) with diverse human needs and has shown great potential in medical applications. However, previous studies mainly fine-tune LLMs on biomedical datasets with limited diversity, which often rely on benchmarks or narrow task scopes, and hence significantly limit the effectiveness on their medical instruction-following ability and generalizability. To bridge this gap, we propose creating a diverse, machine-generated medical IFT dataset, MedInstruct-52k, using GPT-4 and ChatGPT with a high-quality expert-curated seed set. We then fine-tune LLaMA-series models on the dataset to develop AlpaCare. Despite using a smaller domain-specific dataset than previous medical LLMs, AlpaCare not only demonstrates superior performance on medical applications, with up to 38.1% absolute gain over best baselines in medical free-form instruction evaluations, but also achieves 6.7% absolute gains averaged over multiple general domain benchmarks. Human evaluation further shows that AlpaCare consistently outperforms best baselines in terms of both correctness and helpfulness. We offer public access to our data, model, and codebase in https://github.com/XZhang97666/AlpaCare.