A foundation model for human-AI collaboration in medical literature mining

📄 arXiv: 2501.16255v1 📥 PDF

作者: Zifeng Wang, Lang Cao, Qiao Jin, Joey Chan, Nicholas Wan, Behdad Afzali, Hyun-Jin Cho, Chang-In Choi, Mehdi Emamverdi, Manjot K. Gill, Sun-Hyung Kim, Yijia Li, Yi Liu, Hanley Ong, Justin Rousseau, Irfan Sheikh, Jenny J. Wei, Ziyang Xu, Christopher M. Zallek, Kyungsang Kim, Yifan Peng, Zhiyong Lu, Jimeng Sun

分类: cs.CL

发布日期: 2025-01-27

💡 一句话要点

LEADS：医学文献挖掘中人机协作的基础模型，提升效率和质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学文献挖掘 基础模型 人机协作 指令微调 临床试验 系统综述 大型语言模型

📋 核心要点

  1. 医学文献挖掘面临挑战，现有AI模型在不同治疗领域和任务上的训练和评估不足。
  2. LEADS模型通过在大量医学文献数据上进行指令微调，提升了在医学文献挖掘任务中的性能。
  3. 实验表明，LEADS在多个任务上优于通用LLM，并显著提升了专家在文献筛选和数据提取中的效率和准确率。

📝 摘要（中文）

本文提出了LEADS，一个用于医学文献研究、筛选和数据提取的AI基础模型。该模型在LEADSInstruct数据集上训练，该数据集包含来自21335篇系统综述、453625篇临床试验出版物和27015个临床试验注册的633759个指令数据点。实验表明，LEADS在六项任务上始终优于四个先进的通用大型语言模型（LLMs）。此外，LEADS通过提供专家请求后的支持性参考文献来增强专家工作流程，在保持高质量结果的同时简化流程。一项来自14个不同机构的16位临床医生和医学研究人员的研究表明，在研究选择中，与单独工作的专家相比，与LEADS合作的专家实现了0.81的召回率，时间节省了22.6%。在数据提取任务中，使用LEADS的专家实现了0.85的准确率，而未使用LEADS的专家准确率为0.80，同时节省了26.9%的时间。这些发现强调了专门的医学文献基础模型优于通用模型的潜力，在集成到医学文献挖掘的专家工作流程中时，可提供显著的质量和效率优势。

🔬 方法详解

问题定义：医学文献挖掘，特别是系统性文献综述，是循证医学的关键。然而，现有AI模型在医学文献挖掘中的应用受到限制，主要原因是缺乏在广泛治疗领域和多样化任务上的充分训练和评估。现有方法难以在保证质量的同时，满足医学研究人员对效率的需求。

核心思路：LEADS的核心思路是构建一个专门针对医学文献挖掘的基础模型，通过大规模的指令微调，使其能够更好地理解和处理医学文献中的信息。这种方法旨在弥合通用LLM与特定领域需求之间的差距，从而提高模型在医学文献挖掘任务中的性能。

技术框架：LEADS的整体框架包括以下几个主要阶段：1) 数据收集与整理：构建LEADSInstruct数据集，包含系统综述、临床试验出版物和临床试验注册信息。2) 模型训练：使用LEADSInstruct数据集对基础模型进行指令微调。3) 模型评估：在多个医学文献挖掘任务上评估LEADS的性能，并与通用LLM进行比较。4) 人机协作实验：评估LEADS在实际专家工作流程中的应用效果。

关键创新：LEADS的关键创新在于构建了一个专门针对医学文献挖掘的基础模型，并通过大规模的指令微调，使其能够更好地适应医学领域的特定需求。与通用LLM相比，LEADS在医学文献挖掘任务上具有更高的准确性和效率。此外，LEADS还支持人机协作，通过提供支持性参考文献来增强专家工作流程。

关键设计：LEADSInstruct数据集包含633,759个指令数据点，涵盖了研究搜索、筛选和数据提取等多个任务。模型训练采用指令微调方法，具体的技术细节（如损失函数、网络结构等）在论文中未详细说明，属于未知信息。人机协作实验中，研究人员评估了专家在使用LEADS辅助下的工作效率和质量，并与单独工作的专家进行了比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LEADS在研究选择任务中，与专家协作时召回率达到0.81，高于专家单独工作的0.77，时间节省22.6%。在数据提取任务中，LEADS辅助下专家准确率达到0.85，高于专家单独工作的0.80，时间节省26.9%。这些结果表明LEADS能够显著提升专家在医学文献挖掘中的效率和准确率。

🎯 应用场景

LEADS模型可广泛应用于医学研究、临床实践和药物开发等领域。它可以帮助研究人员更高效地进行系统性文献综述，加速新药研发过程，并为临床医生提供更可靠的循证医学证据。LEADS有望成为医学领域人机协作的重要工具，提升医疗决策的质量和效率。

📄 摘要（原文）

Systematic literature review is essential for evidence-based medicine, requiring comprehensive analysis of clinical trial publications. However, the application of artificial intelligence (AI) models for medical literature mining has been limited by insufficient training and evaluation across broad therapeutic areas and diverse tasks. Here, we present LEADS, an AI foundation model for study search, screening, and data extraction from medical literature. The model is trained on 633,759 instruction data points in LEADSInstruct, curated from 21,335 systematic reviews, 453,625 clinical trial publications, and 27,015 clinical trial registries. We showed that LEADS demonstrates consistent improvements over four cutting-edge generic large language models (LLMs) on six tasks. Furthermore, LEADS enhances expert workflows by providing supportive references following expert requests, streamlining processes while maintaining high-quality results. A study with 16 clinicians and medical researchers from 14 different institutions revealed that experts collaborating with LEADS achieved a recall of 0.81 compared to 0.77 experts working alone in study selection, with a time savings of 22.6%. In data extraction tasks, experts using LEADS achieved an accuracy of 0.85 versus 0.80 without using LEADS, alongside a 26.9% time savings. These findings highlight the potential of specialized medical literature foundation models to outperform generic models, delivering significant quality and efficiency benefits when integrated into expert workflows for medical literature mining.