Retrieval-Augmented Multimodal Language Model with Heterogeneous Evidence Integration for Clinical Prognosis

📄 arXiv: 2610.13510v1 📥 PDF

作者: Hamza Shafiq, Jialu Tang, Ting Dang, Jun Hu, Aaqib Saeed

分类: cs.AI, cs.CL

发布日期: 2026-10-09

💡 一句话要点

提出PRISM以解决临床预后中的多模态证据整合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床预后 多模态融合 机器学习 数据整合 智能医疗

📋 核心要点

  1. 现有方法在临床预后中难以有效整合多种异构数据，导致预测准确性不足。
  2. PRISM模型通过特征数值标记、加权聚合和人群记忆库，创新性地整合多模态证据以提高预后推理能力。
  3. 在MDS-ED基准测试中，PRISM在多个任务上均表现优异，AUROC显著高于现有方法，验证了其有效性。

📝 摘要（中文）

临床预后需要整合结构化测量、生命体征波形、纵向历史和人群背景。我们提出了PRISM（基于人群检索的结构化多模态预后推理），这是一种多模态语言模型，结合了特征数值标记、纵向心电图的加权聚合和双模态人群记忆库。检索在表示空间中进行，模型接收相似训练队列遭遇的均值池嵌入，而不直接使用个体检索记录。在1,443任务的MDS-ED基准上，PRISM在诊断、恶化、ICU入院和死亡率方面分别达到了86.2%、93.1%、91.8%和92.8%的AUROC。这些结果使用了一个96小时的到达前窗口，这是报告基线所没有的。

🔬 方法详解

问题定义：本论文旨在解决临床预后中多模态证据整合的挑战，现有方法在处理异构数据时存在准确性不足的问题。

核心思路：PRISM模型通过结合特征数值标记、纵向心电图的加权聚合和双模态人群记忆库，创新性地实现了多模态数据的有效整合，从而提升预后推理的准确性。

技术框架：PRISM的整体架构包括数据输入模块、特征提取模块、记忆库检索模块和决策输出模块。数据输入模块负责接收多种类型的临床数据，特征提取模块进行数值标记和聚合，记忆库检索模块则在表示空间中进行相似性检索。

关键创新：PRISM的核心创新在于其检索机制在表示空间中进行，避免了直接使用个体记录，从而提高了模型的泛化能力和准确性。这一设计与传统方法有本质区别。

关键设计：模型采用了加权聚合策略来处理纵向心电图数据，使用了特定的损失函数来优化多模态融合效果。此外，模型的参数设置经过精细调优，以确保在不同任务上的最佳表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PRISM在1,443任务的MDS-ED基准上取得了显著的性能，诊断AUROC达到86.2%，恶化93.1%，ICU入院91.8%，死亡率92.8%。与基线相比，PRISM在使用96小时的到达前窗口时表现优异，验证了其在多模态整合中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括医院的临床决策支持系统、智能健康监测和个性化医疗。通过有效整合多模态数据，PRISM能够为临床医生提供更准确的预后信息，从而改善患者管理和治疗效果。未来，该模型有望在更广泛的医疗场景中推广应用，推动智能医疗的发展。

📄 摘要（原文）

Clinical prognosis requires integrating structured measurements, physiological waveforms, longitudinal history, and population context. We introduce PRISM (Population-Retrieved Inference for Structured Multimodal Prognosis), a multimodal language model that combines per-feature numerical tokenization, recency-weighted aggregation of longitudinal ECGs, and a dual-modality population memory bank. Retrieval operates in representation space: the model receives mean-pooled embeddings of similar training-cohort encounters, while no individual retrieved record enters the prompt. On the 1,443-task MDS-ED benchmark, PRISM achieves AUROCs of 86.2% for diagnosis, 93.1% for deterioration, 91.8% for ICU admission, and 92.8% for mortality. These results use a 96-hour pre-arrival window unavailable to reported baselines. With benchmark-window inputs only, PRISM reaches 0.8895 AUROC, compared with 0.8937 for UniPACT and 0.8889 for MDS-ED. A matched-input compact fusion model using the same five evidence streams and frozen encoders reaches 0.7652 AUROC, versus 0.9092 for PRISM. Replacing numerical EHR encoding with text serialization reduces AUROC by 3.66 points; removing pre-arrival history reduces it by 1.97 points; and zeroing retrieval reduces it by 0.99 points. Genuine retrieval outperforms random-neighbor retrieval by 0.97 macro-average points, although a paired task-level sign test does not establish a uniform advantage (p=0.067). On the external MC-MED cohort, supervised fine-tuning reaches 0.8611 AUROC, compared with 0.8227 for locally trained gradient boosting and 0.7841 for source-only PRISM. These results support structure-aware multimodal integration and supervised external adaptation.