TrialEnroll: Predicting Clinical Trial Enrollment Success with Deep & Cross Network and Large Language Models

📄 arXiv: 2407.13115v1 📥 PDF

作者: Ling Yue, Sixue Xing, Jintai Chen, Tianfan Fu

分类: cs.LG, cs.CL

发布日期: 2024-07-18

💡 一句话要点

TrialEnroll：利用深度交叉网络和LLM增强文本特征预测临床试验招募成功率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床试验招募 深度交叉网络 大型语言模型 文本特征提取 招募成功率预测

📋 核心要点

  1. 临床试验招募成功与否直接影响试验结果，但现有方法难以准确预测招募成功率，导致资源浪费。
  2. TrialEnroll利用深度交叉网络和LLM增强的文本特征，从试验资格标准中学习语义信息，预测招募成功率。
  3. 实验结果表明，TrialEnroll在预测临床试验招募成功率方面优于现有机器学习方法，PR-AUC达到0.7002。

📝 摘要（中文）

临床试验需要招募足够数量的志愿者患者，以证明治疗方法（例如，一种新药）在治愈某种疾病方面的统计功效。临床试验招募对试验成功有重大影响。在试验运行之前预测招募过程是否成功，将节省大量资源和时间。本文开发了一种新颖的深度交叉网络，该网络利用大型语言模型（LLM）增强的文本特征，从试验资格标准中学习语义信息，并预测招募成功率。所提出的方法通过理解资格标准中的哪些句子/词对预测贡献最大，从而实现可解释性。我们还证明了所提出的方法在经验上优于一系列已建立的机器学习方法（PR-AUC为0.7002）。代码和整理后的数据集可在https://anonymous.4open.science/r/TrialEnroll-7E12公开获取。

🔬 方法详解

问题定义：论文旨在解决临床试验招募成功率预测问题。现有方法通常依赖于简单的特征工程或传统的机器学习模型，无法充分利用试验资格标准中的语义信息，导致预测精度不高，且缺乏可解释性。

核心思路：论文的核心思路是利用深度学习模型，特别是深度交叉网络（Deep & Cross Network, DCN），结合大型语言模型（LLM）增强的文本特征，来学习试验资格标准中的复杂语义关系，从而更准确地预测招募成功率。DCN能够有效地学习特征之间的交叉关系，而LLM则能够提供更丰富的文本语义表示。

技术框架：TrialEnroll的整体框架包括以下几个主要模块：1) 文本特征提取：使用LLM（具体使用哪个LLM未知）对试验资格标准文本进行编码，提取文本特征。2) 深度交叉网络（DCN）：将提取的文本特征输入DCN模型，DCN由一个深度网络和一个交叉网络组成，深度网络用于学习高阶特征表示，交叉网络用于学习特征之间的显式交叉关系。3) 预测层：将DCN的输出输入到预测层，预测临床试验的招募成功率。

关键创新：该论文的关键创新在于将深度交叉网络与LLM增强的文本特征相结合，用于预测临床试验招募成功率。这种方法能够充分利用试验资格标准中的语义信息，并学习特征之间的复杂关系，从而提高预测精度。此外，该方法还具有一定的可解释性，可以分析资格标准中的哪些句子或词对预测贡献最大。

关键设计：关于DCN的具体网络结构、LLM的选择以及训练参数等关键设计细节，论文摘要中并未详细说明。损失函数和优化器也未知。需要阅读原文才能了解这些细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TrialEnroll在预测临床试验招募成功率方面优于一系列已建立的机器学习方法，PR-AUC达到0.7002。这一结果表明，深度交叉网络和LLM增强的文本特征能够有效地学习试验资格标准中的语义信息，提高预测精度。

🎯 应用场景

TrialEnroll可应用于临床试验设计和管理领域，帮助研究人员在试验启动前评估招募难度，优化招募策略，从而节省时间和资源，提高临床试验的成功率。该方法还可以用于评估不同试验方案的招募潜力，辅助试验方案的制定。

📄 摘要（原文）

Clinical trials need to recruit a sufficient number of volunteer patients to demonstrate the statistical power of the treatment (e.g., a new drug) in curing a certain disease. Clinical trial recruitment has a significant impact on trial success. Forecasting whether the recruitment process would be successful before we run the trial would save many resources and time. This paper develops a novel deep & cross network with large language model (LLM)-augmented text feature that learns semantic information from trial eligibility criteria and predicts enrollment success. The proposed method enables interpretability by understanding which sentence/word in eligibility criteria contributes heavily to prediction. We also demonstrate the empirical superiority of the proposed method (0.7002 PR-AUC) over a bunch of well-established machine learning methods. The code and curated dataset are publicly available at https://anonymous.4open.science/r/TrialEnroll-7E12.