Memorize and Rank: Elevating Large Language Models for Clinical Diagnosis Prediction

📄 arXiv: 2501.17326v1 📥 PDF

作者: Mingyu Derek Ma, Xiaoxuan Wang, Yijia Xiao, Anthony Cuturrufo, Vijay S Nori, Eran Halperin, Wei Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-01-28

备注: To appear at AAAI 2025

💡 一句话要点

MERA：利用大语言模型进行临床诊断预测，解决数据稀缺和候选疾病空间大的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床诊断预测 大语言模型 分层对比学习 概念记忆 医学自然语言处理

📋 核心要点

  1. 临床诊断预测面临患者数据稀缺和疾病候选空间巨大的挑战，现有模型难以有效利用有限数据。
  2. MERA模型通过分层对比学习缓解候选空间过大问题，并利用微调记忆医学概念，连接自然语言知识与医学编码。
  3. 实验表明，MERA在MIMIC-III和MIMIC-IV数据集上取得了SOTA性能，显著提升了大语言模型的诊断能力。

📝 摘要（中文）

临床诊断预测模型旨在通过分析患者病史，尽早发现潜在疾病，从而促进及时干预并改善预后。然而，患者数据的稀缺性和庞大的疾病候选空间给开发令人满意的模型带来了挑战。本文提出了一种名为MERA的临床诊断预测模型，它将自然语言知识与医疗实践相结合。MERA通过在疾病候选排序列表上应用分层对比学习来缓解决策空间过大的问题，并通过微调进行概念记忆，从而将自然语言临床知识与医学编码联系起来。在MIMIC-III和MIMIC-IV数据集上的实验结果表明，MERA实现了最先进的诊断预测性能，并显著提升了生成式大语言模型的诊断预测能力。

🔬 方法详解

问题定义：论文旨在解决临床诊断预测中，由于患者数据稀缺和疾病候选空间巨大，导致现有模型难以有效预测的问题。现有方法难以充分利用有限的患者数据，并且无法有效处理庞大的疾病候选空间，导致预测准确率较低。

核心思路：论文的核心思路是将自然语言知识与医疗实践相结合，利用大语言模型（LLMs）的强大语言理解能力，并结合分层对比学习和概念记忆，从而提高临床诊断预测的准确性。通过微调LLM，使其能够更好地理解医学概念，并利用对比学习缩小疾病候选空间。

技术框架：MERA模型的整体框架包含以下几个主要模块：1) 数据预处理：将患者病历数据转换为LLM可以理解的文本格式。2) 疾病候选排序：利用LLM对疾病候选列表进行初步排序。3) 分层对比学习：在疾病候选排序列表上应用分层对比学习，缩小候选空间，提高预测准确率。4) 概念记忆：通过微调LLM，使其能够更好地理解和记忆医学概念。

关键创新：MERA的关键创新在于以下几个方面：1) 分层对比学习：通过分层对比学习，可以有效地缩小疾病候选空间，提高预测准确率。2) 概念记忆：通过微调LLM，使其能够更好地理解和记忆医学概念，从而提高预测的准确性。3) 自然语言知识与医疗实践的结合：MERA模型将自然语言知识与医疗实践相结合，充分利用了LLM的强大语言理解能力。

关键设计：在分层对比学习中，论文采用了 hierarchical contrastive learning，具体实现细节未知。在概念记忆方面，论文通过微调LLM来实现，具体的微调策略和参数设置未知。损失函数的设计也未知。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

MERA模型在MIMIC-III和MIMIC-IV数据集上取得了最先进的诊断预测性能，显著提升了生成式大语言模型的诊断能力。具体的性能提升数据和对比基线信息未知，但摘要强调了其SOTA地位和对LLM诊断能力的显著提升。

🎯 应用场景

该研究成果可应用于临床决策支持系统，辅助医生进行疾病诊断，提高诊断效率和准确性。通过早期预测潜在疾病，有助于及时干预，改善患者预后。未来，该技术可扩展到其他医疗领域，如药物研发、个性化治疗等，具有广阔的应用前景。

📄 摘要（原文）

Clinical diagnosis prediction models, when provided with a patient's medical history, aim to detect potential diseases early, facilitating timely intervention and improving prognostic outcomes. However, the inherent scarcity of patient data and large disease candidate space often pose challenges in developing satisfactory models for this intricate task. The exploration of leveraging Large Language Models (LLMs) for encapsulating clinical decision processes has been limited. We introduce MERA, a clinical diagnosis prediction model that bridges pertaining natural language knowledge with medical practice. We apply hierarchical contrastive learning on a disease candidate ranking list to alleviate the large decision space issue. With concept memorization through fine-tuning, we bridge the natural language clinical knowledge with medical codes. Experimental results on MIMIC-III and IV datasets show that MERA achieves the state-of-the-art diagnosis prediction performance and dramatically elevates the diagnosis prediction capabilities of generative LMs.