CTP-LLM: Clinical Trial Phase Transition Prediction Using Large Language Models

📄 arXiv: 2408.10995v1 📥 PDF

作者: Michael Reinisch, Jianfeng He, Chenxi Liao, Sauleh Ahmad Siddiqui, Bei Xiao

分类: cs.CL

发布日期: 2024-08-20

💡 一句话要点

CTP-LLM：利用大型语言模型预测临床试验阶段转换

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床试验结果预测 大型语言模型 GPT-3.5 临床试验方案 阶段转换预测

📋 核心要点

  1. 现有临床试验药物研发成功率低，成本高昂，试验方案设计是关键影响因素。
  2. 提出CTP-LLM，利用大型语言模型直接分析试验方案文本，预测临床试验阶段转换。
  3. CTP-LLM在预测临床试验阶段转换方面取得了显著的准确率提升，尤其在三期到最终批准的预测上。

📝 摘要（中文）

新医疗技术的开发需要经过多个阶段的临床试验。尽管将一种药物推向市场需要耗费大量的人力和财力，但只有不到20%的在研药物能够从第一阶段进入最终批准阶段。最近的研究表明，试验方案的设计对试验的性能有显著影响。我们研究了使用试验设计文档进行临床试验结果预测(CTOP)，以自动预测阶段转换。我们提出了CTP-LLM，这是第一个基于大型语言模型(LLM)的CTOP模型。我们还引入了PhaseTransition (PT)数据集；该数据集根据试验在监管过程中的进展情况对试验进行标记，并作为CTOP评估的基准。我们基于GPT-3.5微调的模型(CTP-LLM)通过分析试验的原始方案文本来预测临床试验阶段的转换，而不需要人工选择的特征。CTP-LLM在预测所有阶段的试验阶段转换方面达到了67%的准确率，特别是在预测从第三阶段到最终批准的转换方面达到了75%的准确率。我们的实验性能突出了llm驱动的应用程序在预测临床试验结果和评估试验设计方面的潜力。

🔬 方法详解

问题定义：现有方法在临床试验结果预测方面依赖人工选择的特征，这需要领域专家知识，并且可能引入主观偏差。此外，现有方法难以充分利用临床试验方案文本中蕴含的丰富信息，导致预测准确率不高。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的文本理解和推理能力，直接从临床试验方案文本中学习特征，从而避免人工特征选择的局限性。通过微调LLM，使其能够更好地适应临床试验结果预测的任务。

技术框架：CTP-LLM的整体框架包括以下几个主要阶段：1) 数据收集：构建PhaseTransition (PT)数据集，该数据集包含临床试验方案文本以及对应的阶段转换标签。2) 模型选择：选择GPT-3.5作为基础LLM。3) 模型微调：使用PT数据集对GPT-3.5进行微调，使其能够预测临床试验的阶段转换。4) 模型评估：使用PT数据集评估CTP-LLM的性能。

关键创新：该论文最重要的技术创新点在于首次将大型语言模型应用于临床试验结果预测任务，并证明了LLM在理解和利用临床试验方案文本方面的潜力。与传统方法相比，CTP-LLM无需人工特征选择，能够自动学习文本中的相关特征，从而提高预测准确率。

关键设计：论文的关键设计包括：1) 使用GPT-3.5作为基础LLM，利用其强大的文本理解能力。2) 构建PhaseTransition (PT)数据集，为模型微调提供高质量的训练数据。3) 使用交叉熵损失函数进行模型微调，优化模型在阶段转换预测任务上的性能。4) 采用准确率作为评估指标，衡量模型预测的准确程度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CTP-LLM在预测临床试验阶段转换方面取得了显著的成果。在所有阶段的预测中，CTP-LLM达到了67%的准确率。更重要的是，在预测从第三阶段到最终批准的转换方面，CTP-LLM达到了75%的准确率。这些结果表明，LLM在临床试验结果预测方面具有巨大的潜力。

🎯 应用场景

该研究成果可应用于药物研发的早期阶段，帮助制药公司评估临床试验方案的合理性，预测试验成功的可能性，从而降低研发风险，提高研发效率。此外，该模型还可以辅助监管机构进行临床试验审批，提高审批效率和质量。未来，该技术有望扩展到其他医疗领域的预测任务中。

📄 摘要（原文）

New medical treatment development requires multiple phases of clinical trials. Despite the significant human and financial costs of bringing a drug to market, less than 20% of drugs in testing will make it from the first phase to final approval. Recent literature indicates that the design of the trial protocols significantly contributes to trial performance. We investigated Clinical Trial Outcome Prediction (CTOP) using trial design documents to predict phase transitions automatically. We propose CTP-LLM, the first Large Language Model (LLM) based model for CTOP. We also introduce the PhaseTransition (PT) Dataset; which labels trials based on their progression through the regulatory process and serves as a benchmark for CTOP evaluation. Our fine-tuned GPT-3.5-based model (CTP-LLM) predicts clinical trial phase transition by analyzing the trial's original protocol texts without requiring human-selected features. CTP-LLM achieves a 67% accuracy rate in predicting trial phase transitions across all phases and a 75% accuracy rate specifically in predicting the transition from Phase~III to final approval. Our experimental performance highlights the potential of LLM-powered applications in forecasting clinical trial outcomes and assessing trial design.