Autoregressive EHR Foundation Models with Multimodal Inputs
作者: Yuxuan Liu, Joshua Placidi, Jinpei Han, Alfred John Balston, Marek Rei, A. Aldo Faisal
分类: cs.LG
发布日期: 2026-07-24
备注: 5 pages excluding references and supplements, 2 figures and 2 tables, Proceedings of the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning, Seoul, South Korea
💡 一句话要点
提出多模态条件自回归模型以提升临床预测能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自回归模型 多模态融合 电子健康记录 临床预测 潜在压缩 门控交叉注意力 预训练编码器
📋 核心要点
- 现有的自回归模型主要依赖结构化事件代码，未能有效整合多模态信息，限制了临床预测的准确性。
- 本文提出了一种框架，通过模态特定的潜在压缩和门控交叉注意力机制，系统性地整合多种临床模态。
- 实验结果显示，最佳的潜在压缩配置在性能上优于传统方法，且强大的预训练编码器显著提升了下游任务的效果。
📝 摘要（中文）
本文提出了一种自回归基础模型框架，旨在通过结合多种临床辅助模态（如ECG波形、胸部X光图像和临床笔记）来增强电子健康记录（EHR）的零-shot临床预测能力。研究表明，长序列的模态压缩和门控交叉注意力机制对于提高模型性能至关重要。通过在MIMIC-IV数据集上的实验，发现最佳的潜在压缩配置显著优于未压缩的交叉注意力和均值池化方法，同时更强的预训练编码器在下游任务中表现更佳。仅仅增加辅助模态并不一定能提升ICU死亡率预测的效果，这表明在临床背景下需要仔细设计融合架构和评估方法。
🔬 方法详解
问题定义：本文旨在解决现有自回归模型在临床预测中未能有效整合多模态信息的问题，尤其是仅依赖结构化事件代码的局限性。
核心思路：通过引入模态特定的潜在压缩和门控交叉注意力机制，本文提出了一种新的框架，以便在多模态输入中实现更有效的信息融合和处理。
技术框架：整体架构包括多个模块：首先对每种模态（如ECG时间序列）进行潜在压缩，然后通过门控交叉注意力机制进行信息融合，最后进行临床预测。
关键创新：最重要的创新在于提出了模态特定的潜在压缩方法和门控交叉注意力机制，这与传统的单一模态处理方法有本质区别，能够更好地处理多模态信息。
关键设计：在设计中，采用了不同的预训练编码器来处理各个模态，实验结果表明，强大的预训练编码器在下游任务中表现优于弱编码器，同时对长序列的压缩策略也进行了优化，以减少计算开销并提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，最佳的潜在压缩配置在MIMIC-IV数据集上显著优于未压缩的交叉注意力和均值池化方法，提升幅度达到XX%。此外，强大的预训练编码器在下游任务中表现出色，进一步验证了模型设计的有效性。
🎯 应用场景
该研究的潜在应用领域包括临床决策支持系统、智能医疗监测和个性化医疗方案制定。通过有效整合多模态数据，能够提升临床预测的准确性，从而改善患者的治疗效果和医疗资源的配置。未来，该方法有望在更广泛的医疗场景中得到应用，推动智能医疗的发展。
📄 摘要（原文）
Autoregressive foundation models trained on tokenized electronic health records (EHRs) can support zero-shot clinical prediction, yet most operate on structured event codes alone, and do not incorporate multiple modalities in a principled way. We present a framework for conditioning such models on auxiliary clinical modalities, including ECG waveforms, chest X-ray images, and clinical notes, using modality-specific latent compression and gated cross-attention with temporal alignment. We investigate two key design choices: (1) how to compress long per-modality sequences (e.g., ECG time series) before they enter the multi-modal cross-attention. This feature may be essential to reduce compute overheads and may be beneficial for generalization; (2) how the choice of pretrained encoder for each modality impacts downstream performance. Through controlled ablations on MIMIC-IV, we show that the best latent-compression configurations outperforms both uncompressed cross-attention and mean pooling. Encoder choice has a clear within-modality effect, with stronger pretrained encoders consistently outperforming weaker alternatives. We further show that merely adding auxiliary modalities does not guarantee improvement on ICU mortality prediction over an EHR-only baseline. This implies that careful design of the fusion architecture and an appropriate evaluation in the clinical context are required.