Predicting Post-Traumatic Epilepsy from Clinical Records using Large Language Model Embeddings

📄 arXiv: 2604.14547v1 📥 PDF

作者: Wenhui Cui, Nicholas Swingle, Anand A. Joshi, Dileep Nair, Richard M. Leahy

分类: cs.LG

发布日期: 2026-04-16

💡 一句话要点

利用大语言模型嵌入，从临床记录预测创伤后癫痫风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 创伤后癫痫预测 大型语言模型 临床记录 特征嵌入 梯度提升树 自然语言处理 风险预测

📋 核心要点

  1. 早期预测创伤后癫痫（PTE）面临临床数据异构、阳性病例少和依赖资源密集型神经影像数据的挑战。
  2. 该研究利用预训练的大型语言模型（LLM）提取临床记录中的特征，结合表格数据进行PTE风险预测。
  3. 实验结果表明，LLM嵌入能有效捕获临床信息，结合梯度提升树分类器，AUC-ROC达到0.892，AUPRC达到0.798。

📝 摘要（中文）

本研究旨在利用大型语言模型（LLM）从临床记录中预测创伤后癫痫（PTE）。PTE是一种在颅脑损伤（TBI）后发生的神经系统疾病，早期预测面临临床数据异构、阳性病例有限以及依赖神经影像数据的挑战。研究人员使用TRACK-TBI队列的子集，开发了一个自动PTE预测框架，该框架将预训练的LLM作为固定特征提取器来编码临床记录。通过分层交叉验证，评估了表格特征、LLM生成的嵌入以及混合特征表示在使用梯度提升树分类器下的性能。结果表明，与单独使用表格特征相比，LLM嵌入通过捕获上下文临床信息提高了性能。最佳性能是通过结合表格特征和LLM嵌入的模态感知特征融合策略实现的，AUC-ROC达到0.892，AUPRC达到0.798。急性创伤后癫痫发作、损伤严重程度、神经外科干预和ICU住院是预测性能的关键因素。研究结果表明，常规的急性临床记录包含足够的信息，可以使用LLM嵌入结合梯度提升树分类器进行早期PTE风险预测。这种方法是对基于影像预测的一种有希望的补充。

🔬 方法详解

问题定义：该论文旨在解决创伤后癫痫（PTE）的早期预测问题。现有的PTE预测方法面临着临床数据异构性高、阳性病例数量有限以及过度依赖资源密集型的神经影像数据的挑战，导致预测精度和效率受限。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的自然语言理解能力，从常规收集的急性临床记录中提取有用的特征，从而实现更准确和高效的PTE风险预测。通过将LLM作为特征提取器，可以捕获临床记录中的上下文信息，弥补传统方法对非结构化文本数据利用不足的缺陷。

技术框架：该PTE预测框架主要包含以下几个阶段：1) 数据准备：从TRACK-TBI队列中选取子集，整理临床记录数据，包括表格数据和文本数据。2) 特征提取：使用预训练的LLM（如BERT、RoBERTa等）将临床记录文本转换为嵌入向量，同时保留表格特征。3) 特征融合：采用模态感知的特征融合策略，将LLM嵌入和表格特征进行有效整合。4) 模型训练与评估：使用梯度提升树（Gradient-Boosted Tree）分类器进行训练，并通过分层交叉验证评估模型性能。

关键创新：该研究的关键创新在于将大型语言模型应用于PTE预测，并证明了LLM嵌入能够有效捕获临床记录中的上下文信息，从而提高预测性能。与传统方法相比，该方法无需依赖昂贵的神经影像数据，仅利用常规临床记录即可实现较好的预测效果，降低了预测成本和时间。

关键设计：在特征融合方面，论文采用了模态感知的策略，即针对不同类型的特征（表格数据和LLM嵌入）采用不同的处理方式，然后将它们进行有效整合。具体的技术细节包括：选择合适的预训练LLM模型，调整LLM的参数以适应临床文本数据，设计有效的特征融合方法（如拼接、加权平均等），以及优化梯度提升树分类器的参数。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，结合LLM嵌入和表格特征的模态感知特征融合策略，在PTE预测任务中取得了显著的性能提升，AUC-ROC达到0.892，AUPRC达到0.798。与仅使用表格特征相比，该方法能够更有效地捕获临床记录中的上下文信息，从而提高预测精度。

🎯 应用场景

该研究成果可应用于临床决策支持系统，辅助医生进行PTE风险评估，从而尽早采取干预措施，改善患者预后。此外，该方法也可推广到其他疾病的风险预测，尤其适用于那些依赖大量非结构化临床文本数据的场景，具有重要的临床应用价值和潜力。

📄 摘要（原文）

Objective: Post-traumatic epilepsy (PTE) is a debilitating neurological disorder that develops after traumatic brain injury (TBI). Early prediction of PTE remains challenging due to heterogeneous clinical data, limited positive cases, and reliance on resource-intensive neuroimaging data. We investigate whether routinely collected acute clinical records alone can support early PTE prediction using language model-based approaches. Methods: Using a curated subset of the TRACK-TBI cohort, we developed an automated PTE prediction framework that implements pretrained large language models (LLMs) as fixed feature extractors to encode clinical records. Tabular features, LLM-generated embeddings, and hybrid feature representations were evaluated using gradient-boosted tree classifiers under stratified cross-validation. Results: LLM embeddings achieved performance improvements by capturing contextual clinical information compared to using tabular features alone. The best performance was achieved by a modality-aware feature fusion strategy combining tabular features and LLM embeddings, achieving an AUC-ROC of 0.892 and AUPRC of 0.798. Acute post-traumatic seizures, injury severity, neurosurgical intervention, and ICU stay are key contributors to the predictive performance. Significance: These findings demonstrate that routine acute clinical records contain information suitable for early PTE risk prediction using LLM embeddings in conjunction with gradient-boosted tree classifiers. This approach represents a promising complement to imaging-based prediction.