Accelerating Clinical Evidence Synthesis with Large Language Models
作者: Zifeng Wang, Lang Cao, Benjamin Danek, Qiao Jin, Zhiyong Lu, Jimeng Sun
分类: cs.CL
发布日期: 2024-06-25 (更新: 2024-10-28)
💡 一句话要点
TrialMind：利用大型语言模型加速临床证据合成，提升效率与准确性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 临床证据合成 大型语言模型 人工智能 医学文献 人机协作
📋 核心要点
- 临床证据合成依赖人工，效率低且易出错，难以应对医学文献的快速增长。
- TrialMind提出了一种基于大型语言模型的生成式AI流程，用于辅助研究搜索、筛选和数据提取。
- 实验表明，TrialMind在各项任务中均优于人工和现有方法，显著提升效率和准确性。
📝 摘要（中文）
临床证据的合成主要依赖于临床试验的系统性回顾和医学文献的回顾性分析。然而，出版物的快速增长给高效识别、总结和更新临床证据带来了挑战。本文介绍了一种生成式人工智能（AI）流程TrialMind，旨在促进人机协作，完成证据合成的三个关键任务：研究搜索、筛选和数据提取。为了评估其性能，我们选择了已发表的系统性综述来构建基准数据集TrialReviewBench，其中包含100个系统性综述和相关的2,220项临床研究。结果表明，TrialMind在所有三个任务中都表现出色。在研究搜索中，它生成多样化和全面的搜索查询，以实现高召回率（TrialMind 0.711-0.834 vs. 人工基线 0.138-0.232）。对于研究筛选，TrialMind超越了传统的基于嵌入的方法30%到160%。在数据提取方面，它优于GPT-4基线29.6%到61.5%。我们进一步进行了用户研究，以确认其在实践中的效用。与人工工作相比，使用TrialMind的人机协作在研究筛选中实现了71.4%的召回率提升和44.2%的时间节省，在数据提取中实现了23.5%的准确率提升和63.4%的时间节省。此外，在比较森林图中呈现的合成临床证据时，医学专家在62.5%到100%的情况下更喜欢TrialMind的输出而不是GPT-4的输出。这些发现表明，基于LLM的方法（如TrialMind）有望通过简化医学文献的研究搜索、筛选和数据提取来加速临床证据合成，并在与人类专家合作时实现卓越的性能提升。
🔬 方法详解
问题定义：临床证据合成是一个耗时且容易出错的过程，传统方法依赖于人工进行文献搜索、筛选和数据提取。医学文献的快速增长使得人工方法难以应对，导致证据合成的效率低下和质量难以保证。现有方法，如基于嵌入的方法，在研究筛选方面表现不佳，而大型语言模型在数据提取方面仍有提升空间。
核心思路：TrialMind的核心思路是利用大型语言模型的生成能力，自动化或半自动化临床证据合成的关键步骤。通过生成多样化的搜索查询、高效筛选相关研究以及准确提取数据，TrialMind旨在减轻人工负担，提高证据合成的效率和质量。人机协作的设计理念也至关重要，旨在结合AI的计算能力和人类专家的领域知识。
技术框架：TrialMind包含三个主要模块：研究搜索、研究筛选和数据提取。在研究搜索阶段，TrialMind生成多个不同的搜索查询，以提高文献的召回率。在研究筛选阶段，TrialMind对检索到的文献进行筛选，判断其是否符合纳入标准。在数据提取阶段，TrialMind从已筛选的文献中提取关键数据，例如患者特征、干预措施和结果指标。整体流程旨在模拟人工进行证据合成的过程，并利用AI技术加速每个步骤。
关键创新：TrialMind的关键创新在于其端到端的生成式AI流程，能够同时处理研究搜索、筛选和数据提取三个任务。与传统方法相比，TrialMind能够生成更全面和多样化的搜索查询，显著提高文献召回率。此外，TrialMind在研究筛选和数据提取方面也优于现有方法，表明其在理解和处理医学文献方面具有更强的能力。人机协作模式也是一个重要的创新点，允许人类专家参与到证据合成的过程中，从而提高最终结果的质量。
关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构等技术细节。但是，可以推断TrialMind使用了微调的大型语言模型，并针对每个任务进行了优化。例如，在研究搜索阶段，可能使用了强化学习来优化搜索查询的生成策略。在研究筛选和数据提取阶段，可能使用了监督学习来训练模型，并使用了特定的损失函数来提高模型的准确率。具体的技术细节需要参考论文的补充材料或相关文献。
🖼️ 关键图片
📊 实验亮点
TrialMind在研究搜索中实现了显著的召回率提升（0.711-0.834 vs. 人工基线 0.138-0.232）。在研究筛选方面，TrialMind超越了传统方法30%-160%。在数据提取方面，TrialMind优于GPT-4基线29.6%-61.5%。人机协作模式下，研究筛选的召回率提升71.4%，时间节省44.2%；数据提取的准确率提升23.5%，时间节省63.4%。医学专家更倾向于TrialMind生成的森林图（62.5%-100%）。
🎯 应用场景
TrialMind可应用于临床指南制定、药物研发、卫生政策评估等领域。通过加速临床证据合成，TrialMind能够帮助医生、研究人员和政策制定者更快地获取最新的医学证据，从而做出更明智的决策。该研究的潜在价值在于提高医疗保健的效率和质量，并最终改善患者的健康状况。
📄 摘要（原文）
Synthesizing clinical evidence largely relies on systematic reviews of clinical trials and retrospective analyses from medical literature. However, the rapid expansion of publications presents challenges in efficiently identifying, summarizing, and updating clinical evidence. Here, we introduce TrialMind, a generative artificial intelligence (AI) pipeline for facilitating human-AI collaboration in three crucial tasks for evidence synthesis: study search, screening, and data extraction. To assess its performance, we chose published systematic reviews to build the benchmark dataset, named TrialReviewBench, which contains 100 systematic reviews and the associated 2,220 clinical studies. Our results show that TrialMind excels across all three tasks. In study search, it generates diverse and comprehensive search queries to achieve high recall rates (Ours 0.711-0.834 v.s. Human baseline 0.138-0.232). For study screening, TrialMind surpasses traditional embedding-based methods by 30% to 160%. In data extraction, it outperforms a GPT-4 baseline by 29.6% to 61.5%. We further conducted user studies to confirm its practical utility. Compared to manual efforts, human-AI collaboration using TrialMind yielded a 71.4% recall lift and 44.2% time savings in study screening and a 23.5% accuracy lift and 63.4% time savings in data extraction. Additionally, when comparing synthesized clinical evidence presented in forest plots, medical experts favored TrialMind's outputs over GPT-4's outputs in 62.5% to 100% of cases. These findings show the promise of LLM-based approaches like TrialMind to accelerate clinical evidence synthesis via streamlining study search, screening, and data extraction from medical literature, with exceptional performance improvement when working with human experts.