EMERGE: Enhancing Multimodal Electronic Health Records Predictive Modeling with Retrieval-Augmented Generation

📄 arXiv: 2406.00036v2 📥 PDF

作者: Yinghao Zhu, Changyu Ren, Zixiang Wang, Xiaochen Zheng, Shiyun Xie, Junlan Feng, Xi Zhu, Zhoujun Li, Liantao Ma, Chengwei Pan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-05-27 (更新: 2025-02-26)

备注: CIKM 2024 Full Research Paper; arXiv admin note: text overlap with arXiv:2402.07016

DOI: 10.1145/3627673.3679582

🔗 代码/项目: GITHUB

💡 一句话要点

EMERGE：利用检索增强生成提升多模态电子病历预测建模

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子病历 多模态学习 检索增强生成 大型语言模型 知识图谱

📋 核心要点

  1. 现有方法在利用多模态EHR数据进行临床预测时，缺乏必要的医学背景知识，限制了预测的准确性。
  2. EMERGE框架利用检索增强生成(RAG)方法，从EHR数据中提取知识并生成患者健康状况摘要，从而增强模型对医学背景的理解。
  3. 在MIMIC-III和MIMIC-IV数据集上的实验表明，EMERGE框架在住院死亡率和30天再入院任务上优于基线模型。

📝 摘要（中文）

多模态电子病历(EHR)数据的整合显著提升了临床预测能力。现有模型利用临床笔记和多变量时间序列EHR数据，但通常缺乏必要的医学背景知识来进行准确的临床任务，而以往的知识图谱(KG)方法主要集中于结构化知识提取。为此，我们提出了EMERGE，一个检索增强生成(RAG)驱动的框架，以增强多模态EHR预测建模。我们通过提示大型语言模型(LLM)从时间序列数据和临床笔记中提取实体，并将它们与专业的PrimeKG对齐，以确保一致性。除了三元组关系外，我们还纳入了实体的定义和描述，以获得更丰富的语义。提取的知识随后被用于生成与任务相关的患者健康状况摘要。最后，我们使用具有交叉注意力的自适应多模态融合网络将摘要与其他模态融合。在MIMIC-III和MIMIC-IV数据集上的住院死亡率和30天再入院任务的大量实验表明，EMERGE框架优于基线模型。全面的消融研究和分析突出了每个设计模块的有效性和对数据稀疏性的鲁棒性。EMERGE有助于改进医疗保健中多模态EHR数据的利用，弥合了与细致医学背景的差距，这对于知情的临床预测至关重要。我们已在https://github.com/yhzhu99/EMERGE公开发布了代码。

🔬 方法详解

问题定义：论文旨在解决现有EHR预测模型在利用多模态数据时，缺乏足够的医学背景知识，导致预测准确性不足的问题。现有方法，如直接使用临床笔记和时间序列数据，或仅关注结构化知识提取的知识图谱方法，都无法充分利用EHR数据中蕴含的丰富医学信息。

核心思路：论文的核心思路是利用检索增强生成（RAG）框架，通过大型语言模型（LLM）从EHR数据中提取实体和关系，并结合外部知识图谱（PrimeKG）进行知识增强，生成包含丰富医学背景信息的患者健康状况摘要。然后，将该摘要与其他模态的数据进行融合，从而提升预测模型的性能。

技术框架：EMERGE框架包含以下几个主要模块：1) 实体提取与对齐：使用LLM从时间序列数据和临床笔记中提取实体，并与PrimeKG对齐，确保实体的一致性。2) 知识增强：除了三元组关系外，还纳入实体的定义和描述，以获得更丰富的语义。3) 摘要生成：利用提取的知识生成与任务相关的患者健康状况摘要。4) 多模态融合：使用具有交叉注意力的自适应多模态融合网络将摘要与其他模态的数据进行融合。

关键创新：该论文的关键创新在于将检索增强生成（RAG）框架应用于多模态EHR数据的预测建模。与现有方法相比，EMERGE能够更有效地利用EHR数据中蕴含的医学知识，并将其融入到预测模型中。此外，该论文还提出了一种自适应多模态融合网络，能够更好地融合不同模态的数据。

关键设计：在实体提取阶段，使用了特定的LLM提示工程来提高实体识别的准确性。在知识增强阶段，不仅使用了三元组关系，还使用了实体的定义和描述，以提供更全面的医学背景信息。在多模态融合阶段，使用了交叉注意力机制来学习不同模态之间的关系。损失函数方面，采用了标准的分类或回归损失函数，具体取决于预测任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MIMIC-III和MIMIC-IV数据集上的实验结果表明，EMERGE框架在住院死亡率和30天再入院任务上均优于基线模型。例如，在住院死亡率预测任务中，EMERGE相比最佳基线模型取得了显著的性能提升。消融实验表明，RAG框架和自适应多模态融合网络对性能提升起到了关键作用。

🎯 应用场景

EMERGE框架可应用于多种临床预测任务，如住院死亡率预测、疾病诊断、药物不良反应预测等。通过整合多模态EHR数据并融入丰富的医学背景知识，EMERGE能够提升临床预测的准确性和可靠性，为临床决策提供更有力的支持，并最终改善患者的治疗效果。

📄 摘要（原文）

The integration of multimodal Electronic Health Records (EHR) data has significantly advanced clinical predictive capabilities. Existing models, which utilize clinical notes and multivariate time-series EHR data, often fall short of incorporating the necessary medical context for accurate clinical tasks, while previous approaches with knowledge graphs (KGs) primarily focus on structured knowledge extraction. In response, we propose EMERGE, a Retrieval-Augmented Generation (RAG) driven framework to enhance multimodal EHR predictive modeling. We extract entities from both time-series data and clinical notes by prompting Large Language Models (LLMs) and align them with professional PrimeKG, ensuring consistency. In addition to triplet relationships, we incorporate entities' definitions and descriptions for richer semantics. The extracted knowledge is then used to generate task-relevant summaries of patients' health statuses. Finally, we fuse the summary with other modalities using an adaptive multimodal fusion network with cross-attention. Extensive experiments on the MIMIC-III and MIMIC-IV datasets' in-hospital mortality and 30-day readmission tasks demonstrate the superior performance of the EMERGE framework over baseline models. Comprehensive ablation studies and analysis highlight the efficacy of each designed module and robustness to data sparsity. EMERGE contributes to refining the utilization of multimodal EHR data in healthcare, bridging the gap with nuanced medical contexts essential for informed clinical predictions. We have publicly released the code at https://github.com/yhzhu99/EMERGE.