Are Joint-Embedding Predictive Objectives Effective for Longitudinal EHRs?

📄 arXiv: 2610.29528v1 📥 PDF

作者: Ashvin Gupta, Brendan Delaney, Alessandra Russo

分类: cs.LG, cs.AI

发布日期: 2026-10-21

💡 一句话要点

探讨联合嵌入预测目标在纵向电子健康记录中的有效性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 电子健康记录 掩码语言模型 联合嵌入预测 潜在空间 临床决策支持

📋 核心要点

  1. 现有的掩码语言模型在处理EHR时可能过度关注噪声和弱信息，未能有效学习高层次的患者状态。
  2. 论文提出联合嵌入预测架构（JEPA），通过在潜在空间中预测表示来学习EHR序列，旨在改善现有方法的不足。
  3. 实验证明，尽管JEPA在训练过程中稳定，但其性能始终低于标准的掩码语言模型，且目标大小对预测误差有显著影响。

📝 摘要（中文）

掩码语言模型（MLM）是应用于纵向电子健康记录（EHR）的主要预训练目标。然而，重建单个事件可能会过度强调噪声或弱信息观察，并未明确促进高层次患者状态的学习。联合嵌入预测架构（JEPA）通过预测潜在空间中的表示进行学习，已在多个领域显示出强劲的性能。本文研究了JEPA在EHR序列表示中的适应性。通过对MIMIC-IV的实证研究发现，尽管三种JEPA形式训练稳定且未出现表示崩溃，但其表现始终低于标准MLM。我们发现目标大小而非目标异质性增加了预测误差，但减少目标大小并未恢复下游性能。这表明，仅靠稳定的潜在预测不足以实现竞争性的EHR表示学习，并突显了定义临床有意义的潜在目标的挑战。

🔬 方法详解

问题定义：本文旨在解决现有掩码语言模型在纵向电子健康记录（EHR）中存在的过度强调噪声和弱信息的问题，导致高层次患者状态学习不足。

核心思路：论文提出联合嵌入预测架构（JEPA），通过预测潜在空间中的表示来进行学习，旨在提升EHR序列的表示能力。

技术框架：JEPA的整体架构包括多个模块，首先对EHR序列进行编码，然后在潜在空间中进行表示预测，最后通过损失函数优化模型。

关键创新：JEPA的主要创新在于其通过潜在空间的表示预测来学习，而不是简单地重建事件，这与传统的掩码语言模型形成了本质区别。

关键设计：在JEPA中，目标大小的选择对模型性能有显著影响，论文还探讨了损失函数的设计和网络结构的优化，以确保训练的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管JEPA在训练过程中表现出稳定性，但其在下游任务中的性能始终低于标准的掩码语言模型，且目标大小的增加显著提高了预测误差。这一发现强调了在EHR表示学习中定义临床相关潜在目标的重要性。

🎯 应用场景

该研究的潜在应用领域包括医疗数据分析、个性化医疗和临床决策支持系统。通过改进EHR的表示学习，能够更好地捕捉患者的健康状态和变化，从而为临床实践提供更有价值的支持。未来，该方法可能推动更精准的疾病预测和治疗方案制定。

📄 摘要（原文）

Masked language modelling (MLM) is the dominant pretraining objective for transformer encoders applied to longitudinal electronic health records (EHRs). However, reconstructing individual events may overemphasise noisy or weakly informative observations and does not explicitly encourage learning higher-level patient states. Joint-Embedding Predictive Architectures (JEPAs) instead learn by predicting representations in latent space and have shown strong performance in a variety of domains. In this paper, we investigate to what extent JEPA can be adapted to EHR sequence representation. Our empirical investigation using MIMIC-IV shows that although all three of our JEPA formulations train stably without representational collapse, they consistently underperform standard MLM. We find that target size, not target heterogeneity, increases prediction error, yet reducing the target size does not recover downstream performance. This suggests that stable latent prediction alone is insufficient for competitive EHR representation learning and highlights the challenge of defining clinically meaningful latent targets for EHR.