LLM-Match: An Open-Sourced Patient Matching Model Based on Large Language Models and Retrieval-Augmented Generation

📄 arXiv: 2503.13281v3 📥 PDF

作者: Xiaodi Li, Shaika Chowdhury, Chung Il Wi, Maria Vassilaki, Xiaoke Liu, Terence T Sio, Owen Garrick, Young J Juhn, James R Cerhan, Cui Tao, Nansu Zong

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-03-17 (更新: 2025-03-24)

备注: 10 pages, 1 figure

💡 一句话要点

LLM-Match：基于大语言模型和RAG的开源患者匹配模型，优于现有方案。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 患者匹配 大语言模型 检索增强生成 电子病历 临床试验

📋 核心要点

  1. 现有患者匹配方法难以有效利用海量电子病历信息，导致匹配准确率不高，影响临床试验效率。
  2. LLM-Match利用RAG从EHR中提取相关患者信息，结合试验标准生成提示，微调大语言模型进行患者匹配。
  3. 实验表明，LLM-Match在多个数据集上超越了TrialGPT、Zero-Shot和GPT-4等基线模型，显著提升了匹配性能。

📝 摘要（中文）

本文提出了一种名为LLM-Match的新型患者匹配框架，该框架利用微调的开源大语言模型。该方法包含四个关键组成部分：首先，检索增强生成（RAG）模块从大量的电子健康记录（EHR）中提取相关的患者上下文信息。其次，提示生成模块通过整合试验资格标准（包括纳入和排除标准）、患者上下文和系统指令来构建输入提示。第三，微调模块使用结构化提示和真实标签来优化带有分类头的模型参数。第四，评估模块评估微调后的模型在测试数据集上的性能。我们在四个开放数据集（n2c2、SIGIR、TREC 2021和TREC 2022）上评估了LLM-Match，并将其与TrialGPT、Zero-Shot和基于GPT-4的闭源模型进行了比较。实验结果表明，LLM-Match优于所有基线模型。

🔬 方法详解

问题定义：患者匹配旨在将患者的医疗记录与临床试验的资格标准进行精确匹配，从而将患者与合适的临床试验联系起来。现有方法难以有效处理海量且复杂的电子病历数据，导致匹配准确率较低，影响了临床试验的效率和患者的参与度。

核心思路：LLM-Match的核心思路是利用大语言模型强大的语义理解和推理能力，结合检索增强生成技术，从海量电子病历中提取与试验标准相关的患者信息，并通过微调优化模型，从而实现更准确的患者匹配。这种方法旨在弥合患者数据与试验标准之间的语义鸿沟。

技术框架：LLM-Match框架包含四个主要模块：1) RAG模块：从电子病历中检索相关患者上下文。2) 提示生成模块：整合试验标准、患者上下文和系统指令，构建输入提示。3) 微调模块：使用结构化提示和真实标签微调大语言模型，优化模型参数。4) 评估模块：评估微调后模型在测试集上的性能。

关键创新：LLM-Match的关键创新在于将检索增强生成技术与微调的大语言模型相结合，用于患者匹配。通过RAG模块，模型能够有效地从海量电子病历中提取相关信息，从而克服了传统方法难以处理复杂医疗数据的难题。此外，通过微调，模型能够更好地适应患者匹配任务，提高匹配准确率。

关键设计：该论文的关键设计包括：RAG模块的具体检索策略，例如使用关键词匹配或语义相似度匹配；提示生成模块中提示词的构建方式，例如使用特定的模板或自然语言描述；微调过程中使用的损失函数和优化器，例如交叉熵损失和Adam优化器；以及评估指标的选择，例如准确率、召回率和F1值。

📊 实验亮点

LLM-Match在n2c2、SIGIR、TREC 2021和TREC 2022四个开放数据集上进行了评估，实验结果表明，LLM-Match显著优于TrialGPT、Zero-Shot和GPT-4等基线模型。具体性能提升数据未知，但整体表现超越了现有方法，验证了该框架的有效性。

🎯 应用场景

LLM-Match可应用于临床试验招募、个性化医疗推荐、患者分层管理等领域。通过提高患者与临床试验的匹配效率，加速新药研发进程，并为患者提供更精准的治疗方案。该研究有望推动医疗人工智能的发展，改善患者的医疗体验。

📄 摘要（原文）

Patient matching is the process of linking patients to appropriate clinical trials by accurately identifying and matching their medical records with trial eligibility criteria. We propose LLM-Match, a novel framework for patient matching leveraging fine-tuned open-source large language models. Our approach consists of four key components. First, a retrieval-augmented generation (RAG) module extracts relevant patient context from a vast pool of electronic health records (EHRs). Second, a prompt generation module constructs input prompts by integrating trial eligibility criteria (both inclusion and exclusion criteria), patient context, and system instructions. Third, a fine-tuning module with a classification head optimizes the model parameters using structured prompts and ground-truth labels. Fourth, an evaluation module assesses the fine-tuned model's performance on the testing datasets. We evaluated LLM-Match on four open datasets - n2c2, SIGIR, TREC 2021, and TREC 2022 - using open-source models, comparing it against TrialGPT, Zero-Shot, and GPT-4-based closed models. LLM-Match outperformed all baselines.