Foundation models for electronic health records: representation dynamics and transferability

📄 arXiv: 2504.10422v1 📥 PDF

作者: Michael C. Burkhart, Bashar Ramadan, Zewei Liao, Kaveri Chhikara, Juan C. Rojas, William F. Parker, Brett K. Beaulieu-Jones

分类: cs.LG

发布日期: 2025-04-14

💡 一句话要点

研究电子病历基础模型的表征动态与迁移能力，提升临床预测任务性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子病历 基础模型 迁移学习 表征学习 临床预测

📋 核心要点

  1. 现有方法难以将电子病历基础模型适配到数据有限和资源受限的本地医疗系统。
  2. 研究核心在于分析基础模型学习到的患者表征，并评估其在不同医疗系统间的迁移能力。
  3. 实验分析了模型识别异常患者的能力，并评估了微调分类器在不同数据集上的性能表现。

📝 摘要（中文）

本研究探讨了在电子病历（EHRs）上训练的基础模型（FMs）的学习内容，并评估了在MIMIC-IV数据集上训练的FM向芝加哥大学医学中心机构EHR数据集的迁移能力。研究评估了模型识别异常患者的能力，并考察了表征空间中患者轨迹与未来临床结果的关系。此外，还评估了监督微调分类器在源数据集和目标数据集上的性能。研究结果深入了解了FM在不同医疗系统中的适应性，强调了有效实施的注意事项，并对促成其预测性能的潜在因素进行了实证分析。

🔬 方法详解

问题定义：现有电子病历（EHR）基础模型在临床预测任务中表现出色，但由于数据分布差异和数据稀疏性，难以直接迁移到新的医疗机构或数据集上。这限制了基础模型在更广泛的医疗场景中的应用。现有方法缺乏对模型表征能力和迁移性能的深入理解，难以指导模型的有效部署和微调。

核心思路：本研究的核心思路是通过分析基础模型学习到的患者表征，理解其在不同医疗系统中的适应性。通过考察表征空间中患者轨迹与未来临床结果的关系，以及评估微调分类器在不同数据集上的性能，揭示影响模型迁移性能的关键因素。

技术框架：研究主要包含以下几个阶段：1) 在MIMIC-IV数据集上预训练电子病历基础模型；2) 将预训练模型迁移到芝加哥大学医学中心的机构EHR数据集；3) 分析模型在两个数据集上的患者表征，包括识别异常患者的能力和表征空间中的患者轨迹；4) 在两个数据集上微调分类器，评估其预测性能；5) 分析影响模型迁移性能的因素。

关键创新：本研究的关键创新在于对电子病历基础模型的表征动态和迁移能力进行了深入的实证分析。通过考察表征空间中的患者轨迹，揭示了模型学习到的临床信息与未来临床结果之间的关系。此外，研究还评估了微调分类器在不同数据集上的性能，为模型的有效部署和微调提供了指导。

关键设计：研究中使用了在MIMIC-IV数据集上预训练的电子病历基础模型，具体模型结构未知。微调分类器使用了标准的监督学习方法，损失函数和网络结构未知。研究重点在于分析模型学习到的患者表征，以及评估其在不同数据集上的迁移性能，而非提出新的模型结构或训练方法。关键参数设置未知。

🖼️ 关键图片

fig_0

📊 实验亮点

该研究通过实验验证了电子病历基础模型在不同医疗系统间的迁移能力。通过分析模型在MIMIC-IV和芝加哥大学医学中心EHR数据集上的表现，揭示了影响模型迁移性能的关键因素。实验结果表明，通过适当的微调，基础模型可以在目标数据集上取得良好的预测性能，但具体的性能提升幅度未知。

🎯 应用场景

该研究成果可应用于指导电子病历基础模型在不同医疗机构的部署和应用，提升临床预测任务的性能。通过理解模型的表征能力和迁移性能，可以更好地利用现有数据资源，降低模型训练成本，加速医疗人工智能的发展。此外，该研究还可以为个性化医疗提供支持，通过分析患者在表征空间中的轨迹，预测其未来的健康状况。

📄 摘要（原文）

Foundation models (FMs) trained on electronic health records (EHRs) have shown strong performance on a range of clinical prediction tasks. However, adapting these models to local health systems remains challenging due to limited data availability and resource constraints. In this study, we investigated what these models learn and evaluated the transferability of an FM trained on MIMIC-IV to an institutional EHR dataset at the University of Chicago Medical Center. We assessed their ability to identify outlier patients and examined representation-space patient trajectories in relation to future clinical outcomes. We also evaluated the performance of supervised fine-tuned classifiers on both source and target datasets. Our findings offer insights into the adaptability of FMs across different healthcare systems, highlight considerations for their effective implementation, and provide an empirical analysis of the underlying factors that contribute to their predictive performance.