Aligning Multimodal Patient Evidence with Biomedical Knowledge Graphs for Clinical LLMs

📄 arXiv: 2610.06685v1 📥 PDF

作者: Jiawen Du, Arshan Ali Khan, Chenhao Zhang, Zachary Plotkin, Li Shen, Qi Long, Yun Li, Can Chen, Tianlong Chen, Nicholas Konz

分类: cs.LG, cs.CL

发布日期: 2026-10-05

💡 一句话要点

提出MM-KG以解决临床问题与生物医学知识图谱的对接问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态知识图谱 临床决策支持 生物医学知识 电子健康记录 图神经网络 信息检索 数据融合

📋 核心要点

  1. 现有的预测系统很少明确表示患者证据与生物医学知识之间的连接，导致无法追溯和测量其贡献。
  2. 本文提出MM-KG，通过将多模态患者观察与生物医学概念在一个类型化图中分层表示，显式对齐以实现有效检索。
  3. 实验结果表明，MM-KG在MIMIC-IV和ADNI数据集上显著提高了模型的性能，尤其是在需要结合多种证据的情况下。

📝 摘要（中文）

临床问题往往依赖于将患者的多模态证据与外部生物医学知识相连接，但现有预测系统很少明确表示这种连接，因此无法追溯其证据来源或测量其贡献。本文提出了MM-KG（多模态知识图谱），将异构的多模态患者观察和生物医学概念表示为一个类型化图中的不同层，通过显式对齐边连接。首先，特定模态的协调器将电子健康记录文本、影像、基因组和生物样本数据转换为映射到UMLS概念的类型化观察，随后通过路由优先的对齐器将其链接到生物医学知识图谱。查询条件检索选择一个紧凑的子图供大型语言模型或图神经网络使用。我们为MIMIC-IV和ADNI构建了MM-KG，并通过2x2设计评估它们，分离患者证据、生物医学知识及其交互。结果显示，结合这两种来源的性能显著优于单独使用任何一种来源。

🔬 方法详解

问题定义：本文旨在解决临床问题中患者多模态证据与生物医学知识图谱之间的对接问题。现有方法缺乏明确的连接，导致无法有效追溯证据来源和评估其贡献。

核心思路：论文提出MM-KG，通过将异构的多模态数据（如电子健康记录、影像、基因组等）转化为类型化观察，并通过显式对齐边与生物医学知识图谱连接，从而实现有效的信息检索和利用。

技术框架：MM-KG的整体架构包括多个模块：首先，模态特定的协调器将不同类型的数据转换为统一的类型化观察；接着，路由优先的对齐器将这些观察与生物医学知识图谱连接；最后，查询条件检索模块选择合适的子图供后续模型使用。

关键创新：MM-KG的主要创新在于其显式的对齐机制，使得多模态患者证据与生物医学知识之间的关系可追溯、可测试，区别于现有方法的隐式连接方式。

关键设计：在设计中，采用了特定的损失函数和网络结构来优化对齐过程，确保不同模态数据的有效融合与检索效率，同时在实验中通过对比基线验证了设计的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MM-KG在MIMIC-IV和ADNI数据集上分别实现了+0.194和+0.299的AUROC提升，相较于MindMap提高了+0.131的Hits@1。查询条件检索在使用6.8倍更少上下文的情况下达到了0.731的AUROC，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括临床决策支持系统、个性化医疗以及医学研究中的数据整合。通过有效对接多模态证据与生物医学知识，MM-KG能够提升临床大语言模型的性能，推动智能医疗的发展。未来，该方法可能在更广泛的医疗场景中得到应用，促进临床研究与实践的结合。

📄 摘要（原文）

Clinical questions often depend on linking a patient's multimodal evidence to external biomedical knowledge, yet existing predictive systems rarely represent such links explicitly, so they can neither be traced to their evidence sources nor removed to measure their contributions. We present MM-KG (Multimodal Knowledge Graph), which represents heterogeneous, multimodal patient observations and biomedical concepts as separate layers in one typed graph, joined by explicit alignment edges. First, modality-specific harmonizers convert EHR text, imaging, genomic, and biospecimen data into typed observations mapped to UMLS concepts, which a route-prioritized aligner links to a biomedical knowledge graph. Query-conditioned retrieval then selects a compact subgraph for downstream use by a large language model or a graph neural network. We build MM-KGs for MIMIC-IV and ADNI, and evaluate them with a 2x2 design that separates patient evidence, biomedical knowledge, and their interaction. On questions that require both sources, neither source alone performs far above chance, whereas their combination yields a drug-controlled AUROC interaction of +0.194 on MIMIC and +0.299 on ADNI. On held-out five-candidate ranking, MM-KG outperforms MindMap by +0.131 Hits@1 and leads an adapted GraphCare on the items that require consulting the patient, and deleting the single answer-bearing relation from the retrieved packet returns Hits@1 to the no-knowledge baseline. Finally, query-conditioned retrieval reaches 0.731 AUROC with 6.8x less context than the strongest generic policy, whereas static knowledge graph context gives no consistent gain on ordinary outcome prediction. Knowledge graphs thus benefit clinical LLMs not as background context but as explicit links between multimodal patient evidence and the relation a question requires, and MM-KG makes these links retrievable, traceable, and testable.