Automatically Extracting Numerical Results from Randomized Controlled Trials with Large Language Models

📄 arXiv: 2405.01686v2 📥 PDF

作者: Hye Sun Yun, David Pogrebitskiy, Iain J. Marshall, Byron C. Wallace

分类: cs.CL, cs.AI

发布日期: 2024-05-02 (更新: 2024-07-25)

备注: 25 pages, 7 figures, 6 tables, MLHC 2024

💡 一句话要点

利用大型语言模型自动提取随机对照试验中的数值结果，加速Meta分析。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Meta分析 随机对照试验 数值提取 零样本学习

📋 核心要点

  1. Meta分析依赖人工提取RCT数据，过程耗时且易出错，自动化提取是关键挑战。
  2. 利用大型语言模型理解和提取RCT报告中的数值结果，实现自动Meta分析。
  3. 实验表明，大型LLM在二元结果提取上表现良好，但在复杂结果上仍有不足。

📝 摘要（中文）

Meta分析通过统计学方法整合不同随机对照试验(RCTs)的结果，以评估治疗效果。由于Meta分析能产生对治疗效果的可靠估计，因此被认为是最高级别的证据。然而，严谨的证据综合耗时且劳动密集，需要手动从单个试验中提取数据进行综合。理想情况下，语言技术应能实现完全自动化的Meta分析，并按需提供结果。这需要准确地从单个试验中提取数值结果，而这在过去超出了自然语言处理(NLP)模型的能力范围。本文评估了现代大型语言模型(LLMs)是否能可靠地执行此任务。我们标注（并发布）了一个适度但细粒度的临床试验报告评估数据集，其中包含与干预措施、对照组和结果相关的数值发现。使用此数据集，我们评估了七个LLM在零样本条件下，从试验报告中有条件地提取数值发现的性能。我们发现，能够处理长输入的巨型LLM非常接近实现完全自动化的Meta分析，特别是对于二分（二元）结果（例如，死亡率）。然而，当结果指标复杂且结果统计需要推理时，LLM（包括在生物医学文本上训练的模型）表现不佳。这项工作为通过LLM实现RCT的完全自动化Meta分析指明了方向，同时也强调了现有模型在此目标上的局限性。

🔬 方法详解

问题定义：论文旨在解决从随机对照试验（RCTs）报告中自动提取数值结果的问题，以便加速和自动化Meta分析。现有方法依赖于人工数据提取，耗时且容易出错，限制了Meta分析的效率和可扩展性。NLP模型在处理此类任务时，面临着理解医学术语、识别关键信息以及进行数值推理的挑战。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大语言理解和生成能力，直接从RCT报告中提取与干预措施、对照组和结果相关的数值数据。通过将提取任务转化为条件生成任务，LLM可以根据给定的上下文（例如，干预措施和结果类型）生成相应的数值结果。

技术框架：该研究采用零样本学习范式，直接将LLM应用于数值提取任务，无需针对特定数据集进行微调。研究人员构建了一个包含临床试验报告和对应数值结果的评估数据集。他们评估了七个不同的LLM，包括通用LLM和在生物医学文本上训练的LLM。评估流程包括将RCT报告和提取要求输入LLM，然后比较LLM生成的数值结果与人工标注的真实值。

关键创新：该研究的关键创新在于探索了大型语言模型在自动化Meta分析中的潜力，并证明了LLM在提取RCT数值结果方面的可行性。与以往需要大量标注数据的监督学习方法不同，该研究采用零样本学习，降低了数据标注成本，提高了模型泛化能力。

关键设计：研究人员构建了一个细粒度的评估数据集，其中包含与干预措施、对照组和结果相关的数值发现。他们评估了不同规模和架构的LLM，并分析了模型在不同类型结果（例如，二元结果和连续结果）上的表现。此外，他们还探讨了模型在处理复杂推理任务时的局限性，例如，需要进行数值计算才能得到最终结果的情况。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大型LLM在零样本条件下，能够较好地提取RCT报告中的数值结果，尤其是在二元结果（如死亡率）的提取上表现出色。然而，当结果指标复杂且需要推理时，LLM的性能显著下降。研究揭示了现有LLM在自动化Meta分析中的潜力和局限性，为未来研究指明了方向。

🎯 应用场景

该研究成果可应用于自动化Meta分析流程，大幅缩短证据综合时间，加速临床决策。研究结果有助于开发智能临床决策支持系统，辅助医生快速评估不同治疗方案的有效性。此外，该技术还可应用于药物研发、公共卫生政策制定等领域，提升科研效率和决策质量。

📄 摘要（原文）

Meta-analyses statistically aggregate the findings of different randomized controlled trials (RCTs) to assess treatment effectiveness. Because this yields robust estimates of treatment effectiveness, results from meta-analyses are considered the strongest form of evidence. However, rigorous evidence syntheses are time-consuming and labor-intensive, requiring manual extraction of data from individual trials to be synthesized. Ideally, language technologies would permit fully automatic meta-analysis, on demand. This requires accurately extracting numerical results from individual trials, which has been beyond the capabilities of natural language processing (NLP) models to date. In this work, we evaluate whether modern large language models (LLMs) can reliably perform this task. We annotate (and release) a modest but granular evaluation dataset of clinical trial reports with numerical findings attached to interventions, comparators, and outcomes. Using this dataset, we evaluate the performance of seven LLMs applied zero-shot for the task of conditionally extracting numerical findings from trial reports. We find that massive LLMs that can accommodate lengthy inputs are tantalizingly close to realizing fully automatic meta-analysis, especially for dichotomous (binary) outcomes (e.g., mortality). However, LLMs -- including ones trained on biomedical texts -- perform poorly when the outcome measures are complex and tallying the results requires inference. This work charts a path toward fully automatic meta-analysis of RCTs via LLMs, while also highlighting the limitations of existing models for this aim.