Building the EHR Foundation Model via Next Event Prediction

📄 arXiv: 2509.25591v1 📥 PDF

作者: Zekai Chen, Arda Pekis, Kevin Brown

分类: cs.AI, cs.CL, q-bio.OT

发布日期: 2025-09-29

💡 一句话要点

提出基于事件预测的EHR基础模型，增强LLM在临床时序推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子病历 时序推理 大型语言模型 下一事件预测 临床预测

📋 核心要点

  1. 传统EHR建模方法难以有效捕捉电子病历中蕴含的复杂时序动态信息。
  2. 论文提出下一事件预测(NEP)框架，通过自回归微调LLM，显式建模疾病进展和因果关系。
  3. 实验表明，NEP在肿瘤生存预测和临床诊断任务上显著优于现有EHR模型和通用LLM。

📝 摘要（中文）

电子病历(EHRs)包含丰富的时序动态信息，但传统编码方法难以充分捕捉。大型语言模型(LLMs)在EHR建模中展现潜力，但难以推理连续临床事件和时序依赖关系。我们提出下一事件预测(NEP)框架，通过在临床事件序列上进行自回归微调，增强LLM的时序推理能力。通过将EHR重构为带时间戳的事件链并预测未来医疗事件，NEP显式地建模疾病进展模式和因果关系。在肿瘤生存预测和临床诊断任务上的广泛评估表明NEP的优越性，在时序推理任务中，其AUROC比专用EHR模型高4.6%，C-index比通用LLM高7.2%。分析表明NEP具有双重优势：最先进的预测精度以及与已知疾病通路相符的临床可解释的注意力模式。

🔬 方法详解

问题定义：现有EHR建模方法，特别是基于传统编码的方法，难以充分捕捉电子病历中蕴含的复杂时序动态信息。虽然大型语言模型(LLMs)在EHR建模中展现出潜力，但它们在推理连续临床事件和时序依赖关系方面存在不足，无法有效利用EHR数据中的时间信息。

核心思路：论文的核心思路是通过下一事件预测(NEP)来增强LLM的时序推理能力。具体来说，将EHR数据转化为带时间戳的事件序列，然后训练LLM来预测序列中的下一个事件。通过这种方式，模型可以学习到疾病的进展模式和事件之间的因果关系。

技术框架：NEP框架主要包含以下几个步骤：1) 数据预处理：将EHR数据转换为带时间戳的事件序列。2) 模型构建：使用LLM作为基础模型。3) 自回归微调：在临床事件序列上对LLM进行自回归微调，目标是预测下一个医疗事件。4) 模型评估：在各种临床任务上评估模型的性能，例如肿瘤生存预测和临床诊断。

关键创新：NEP的关键创新在于它将下一事件预测任务与LLM相结合，从而显式地建模了疾病的进展模式和因果关系。与传统的EHR建模方法相比，NEP能够更好地利用EHR数据中的时间信息。与直接使用LLM相比，NEP通过自回归微调，增强了LLM在时序推理方面的能力。

关键设计：论文中没有详细说明具体的参数设置和网络结构等技术细节，但可以推断，损失函数采用标准的交叉熵损失函数，用于衡量预测事件与真实事件之间的差异。自回归微调过程中的学习率、batch size等超参数的选择对模型性能至关重要，但具体数值未知。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，NEP在肿瘤生存预测和临床诊断任务上显著优于现有方法。在时序推理任务中，NEP的AUROC比专用EHR模型高4.6%，C-index比通用LLM高7.2%。此外，研究还发现NEP学习到的注意力模式与已知的疾病通路相符，表明该模型具有良好的可解释性。

🎯 应用场景

该研究成果可应用于多种临床场景，例如疾病风险预测、个性化治疗方案推荐、临床决策支持等。通过准确预测患者的未来医疗事件，医生可以更好地了解患者的病情发展趋势，从而制定更有效的治疗方案。此外，该模型还可以用于识别潜在的药物不良反应和优化临床流程，提高医疗效率和质量。

📄 摘要（原文）

Electronic Health Records (EHRs) contain rich temporal dynamics that conventional encoding approaches fail to adequately capture. While Large Language Models (LLMs) show promise for EHR modeling, they struggle to reason about sequential clinical events and temporal dependencies. We propose Next Event Prediction (NEP), a framework that enhances LLMs' temporal reasoning through autoregressive fine-tuning on clinical event sequences. By reformulating EHRs as timestamped event chains and predicting future medical events, NEP explicitly models disease progression patterns and causal relationships. Extensive evaluations across oncology survival prediction and clinical diagnosis tasks demonstrate NEP's superiority, outperforming specialized EHR models by 4.6% AUROC and general-purpose LLMs by 7.2% C-index in temporal reasoning tasks. Our analyses reveal dual benefits: state-of-the-art prediction accuracy combined with clinically interpretable attention patterns that align with known disease pathways.