Multimodal Deep Learning for Early Prediction of Patient Deterioration in the ICU: Integrating Time-Series EHR Data with Clinical Notes

📄 arXiv: 2603.14719v1 📥 PDF

作者: Binesh Sadanandan

分类: cs.LG

发布日期: 2026-03-16

💡 一句话要点

提出多模态深度学习方法，融合时间序列EHR数据与临床笔记，用于ICU患者病情恶化早期预测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 临床预测 ICU 时间序列数据 自然语言处理 深度学习 病情恶化预测 电子病历

📋 核心要点

  1. ICU患者病情恶化的早期识别仍然是一个关键挑战，现有方法主要依赖结构化数据，忽略了临床笔记中的重要信息。
  2. 提出一种多模态深度学习方法，融合时间序列EHR数据和临床笔记，利用跨模态注意力机制捕捉不同数据源之间的关联。
  3. 实验结果表明，该方法在预测ICU患者病情恶化方面优于传统方法和仅使用结构化数据的模型，AUROC提升显著。

📝 摘要（中文）

本研究提出了一种多模态深度学习方法，结合结构化的时间序列数据（生命体征和实验室值）与非结构化的临床笔记，用于预测ICU患者24小时内病情恶化。利用MIMIC-IV数据库，构建了一个包含74,822个ICU住院记录的队列，并生成了570万个每小时预测样本。该架构采用双向LSTM编码器处理生理数据中的时间模式，并使用ClinicalBERT嵌入处理临床笔记，通过跨模态注意力机制进行融合。同时，对ICU病情恶化预测的现有方法进行了系统回顾，识别了2015年至2024年间发表的31项研究。现有模型大多仅依赖结构化数据，AUC值在0.70至0.85之间。纳入临床笔记的研究仍然很少，但显示出捕获结构化字段中不存在的信息的潜力。我们的多模态模型在823,641个预留样本上实现了0.7857的测试AUROC和0.1908的AUPRC，验证集到测试集的差距仅为0.6个百分点。消融分析验证了多模态方法的有效性：相对于仅使用结构化数据的基线，临床笔记使AUROC提高了2.5个百分点，AUPRC提高了39.2%，而深度学习模型始终优于经典基线（XGBoost AUROC：0.7486，logistic回归：0.7171）。这项工作贡献了对该领域的全面回顾和一个可复现的临床恶化预测多模态框架。

🔬 方法详解

问题定义：论文旨在解决ICU患者病情恶化早期预测的问题。现有方法主要依赖结构化数据，如生命体征和实验室结果，而忽略了临床笔记中包含的丰富信息。这些信息可能包含医生对患者病情的细致观察和判断，对于早期预测至关重要。现有方法的痛点在于信息利用不充分，导致预测准确率不高。

核心思路：论文的核心思路是将结构化的时间序列数据和非结构化的临床笔记进行融合，利用多模态深度学习模型，充分挖掘不同数据源中的信息。通过跨模态注意力机制，模型可以学习到不同模态之间的关联，从而更准确地预测患者病情恶化。

技术框架：整体架构包括以下几个主要模块：1) 时间序列数据处理模块，使用双向LSTM编码器提取生理数据中的时间模式；2) 临床笔记处理模块，使用ClinicalBERT模型将文本信息转换为嵌入向量；3) 跨模态注意力融合模块，利用注意力机制将时间序列特征和文本特征进行融合；4) 预测模块，基于融合后的特征进行病情恶化预测。

关键创新：最重要的技术创新点在于跨模态注意力机制的应用。该机制能够动态地学习不同模态特征之间的权重，从而更好地融合不同数据源的信息。与简单的特征拼接或加权平均相比，注意力机制能够更有效地捕捉不同模态之间的复杂关系。

关键设计：时间序列数据使用双向LSTM，能够捕捉过去和未来的信息。ClinicalBERT模型是针对临床文本预训练的，能够更好地理解医学术语和临床语境。损失函数采用二元交叉熵损失，优化目标是提高预测的准确率和召回率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该多模态模型在测试集上实现了0.7857的AUROC和0.1908的AUPRC。与仅使用结构化数据的基线模型相比，加入临床笔记后，AUROC提高了2.5个百分点，AUPRC提高了39.2%。深度学习模型也显著优于传统的机器学习模型，如XGBoost和logistic回归。

🎯 应用场景

该研究成果可应用于ICU患者的实时监测和预警系统，帮助医护人员更早地识别出病情恶化的患者，从而采取及时的干预措施，降低患者的死亡率和并发症发生率。此外，该方法还可以推广到其他医疗场景，例如急诊科和住院病房，提高医疗服务的质量和效率。

📄 摘要（原文）

Early identification of patients at risk for clinical deterioration in the intensive care unit (ICU) remains a critical challenge. Delayed recognition of impending adverse events, including mortality, vasopressor initiation, and mechanical ventilation, contributes to preventable morbidity and mortality. We present a multimodal deep learning approach that combines structured time-series data (vital signs and laboratory values) with unstructured clinical notes to predict patient deterioration within 24 hours. Using the MIMIC-IV database, we constructed a cohort of 74,822 ICU stays and generated 5.7 million hourly prediction samples. Our architecture employs a bidirectional LSTM encoder for temporal patterns in physiologic data and ClinicalBERT embeddings for clinical notes, fused through a cross-modal attention mechanism. We also present a systematic review of existing approaches to ICU deterioration prediction, identifying 31 studies published between 2015 and 2024. Most existing models rely solely on structured data and achieve area under the curve (AUC) values between 0.70 and 0.85. Studies incorporating clinical notes remain rare but show promise for capturing information not present in structured fields. Our multimodal model achieves a test AUROC of 0.7857 and AUPRC of 0.1908 on 823,641 held-out samples, with a validation-to-test gap of only 0.6 percentage points. Ablation analysis validates the multimodal approach: clinical notes improve AUROC by 2.5 percentage points and AUPRC by 39.2% relative to a structured-only baseline, while deep learning models consistently outperform classical baselines (XGBoost AUROC: 0.7486, logistic regression: 0.7171). This work contributes both a thorough review of the field and a reproducible multimodal framework for clinical deterioration prediction.