PatientDx: Merging Large Language Models for Protecting Data-Privacy in Healthcare

📄 arXiv: 2504.17360v1 📥 PDF

作者: Jose G. Moreno, Jesus Lovon, M'Rick Robin-Charlet, Christine Damase-Michel, Lynda Tamine

分类: cs.CL

发布日期: 2025-04-24

期刊: Workshop CL4Health @ NAACL 2025, May 2025, Albuquerque, New Mexico, United States

💡 一句话要点

PatientDx：一种用于医疗数据隐私保护的LLM模型融合框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型融合 数据隐私保护 医疗健康 死亡率预测

📋 核心要点

  1. 现有LLM微调方法在医疗领域面临数据隐私挑战，直接在敏感患者数据上训练存在泄露风险。
  2. PatientDx通过模型融合策略，无需在患者数据上微调，即可构建有效的健康预测LLM。
  3. 实验表明，PatientDx在MIMIC-IV数据集上AUROC提升高达7%，且降低了数据泄露风险。

📝 摘要（中文）

微调大型语言模型（LLM）已成为提高模型在特定任务上性能的常用方法。然而，性能的提升是以在大量标注数据上训练为代价的，这些数据可能非常敏感，从而导致严重的数据隐私问题。特别是在医疗保健领域，数据隐私问题尤为突出。本文提出了PatientDx，一个模型融合框架，它允许设计有效的LLM用于健康预测任务，而无需在患者数据上进行微调或适应。我们的方案基于最近提出的LLM融合技术，旨在优化构建块融合策略。PatientDx使用一个适应数值推理的关键模型，并在基于性能指标的示例上调整超参数，但无需在这些数据上训练LLM。使用MIMIC-IV数据集的死亡率预测任务进行的实验表明，与初始模型相比，AUROC指标提高了高达7%。此外，我们证实，与微调模型相比，我们的方案不太容易出现数据泄露问题，同时又不影响性能。最后，我们通过一个案例研究定性地展示了我们方案的能力。我们最好的模型已在https://huggingface.co/Jgmorenof/mistral_merged_0_4上公开。

🔬 方法详解

问题定义：论文旨在解决医疗领域中，直接在敏感患者数据上微调大型语言模型（LLM）所带来的数据隐私泄露问题。现有方法为了提升模型在特定健康预测任务上的性能，通常需要大量的标注患者数据进行微调，这使得模型容易记忆患者的个人信息，从而导致隐私泄露。

核心思路：PatientDx的核心思路是通过模型融合，将多个预训练的LLM的优势结合起来，从而构建一个在健康预测任务上表现良好，但又不需要直接在患者数据上进行微调的模型。这种方法避免了直接暴露敏感数据，降低了数据泄露的风险。

技术框架：PatientDx框架主要包含以下几个步骤：1) 选择一个或多个预训练的LLM作为基础模型。2) 选择一个关键模型，该模型擅长数值推理，并将其与基础模型进行融合。3) 使用不包含敏感信息的示例数据，基于性能指标调整融合过程中的超参数。4) 对融合后的模型进行评估，并与基线模型和微调模型进行比较。

关键创新：PatientDx的关键创新在于其模型融合策略，它允许在不直接访问敏感患者数据的情况下，构建有效的健康预测LLM。与传统的微调方法相比，PatientDx更注重利用预训练模型的知识，并通过融合策略来适应特定任务，从而降低了数据泄露的风险。

关键设计：PatientDx的关键设计包括：1) 选择合适的预训练LLM作为基础模型，例如Mistral。2) 选择擅长数值推理的模型作为关键模型，以便处理医疗数据中的数值信息。3) 设计有效的超参数调整策略，以优化融合过程，例如使用性能指标（如AUROC）来指导超参数的选择。4) 使用适当的融合权重，以平衡不同模型的贡献。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

PatientDx在MIMIC-IV数据集的死亡率预测任务上取得了显著成果，AUROC指标相比初始模型提升高达7%。同时，与直接在患者数据上微调的模型相比，PatientDx在性能相近的情况下，显著降低了数据泄露的风险，验证了其在保护数据隐私方面的有效性。

🎯 应用场景

PatientDx可应用于多种医疗健康预测任务，如疾病诊断、预后评估、风险预测等。该框架在保护患者数据隐私的前提下，提升了LLM在医疗领域的应用价值，有助于推动智能医疗的发展，并为患者提供更安全可靠的医疗服务。

📄 摘要（原文）

Fine-tuning of Large Language Models (LLMs) has become the default practice for improving model performance on a given task. However, performance improvement comes at the cost of training on vast amounts of annotated data which could be sensitive leading to significant data privacy concerns. In particular, the healthcare domain is one of the most sensitive domains exposed to data privacy issues. In this paper, we present PatientDx, a framework of model merging that allows the design of effective LLMs for health-predictive tasks without requiring fine-tuning nor adaptation on patient data. Our proposal is based on recently proposed techniques known as merging of LLMs and aims to optimize a building block merging strategy. PatientDx uses a pivotal model adapted to numerical reasoning and tunes hyperparameters on examples based on a performance metric but without training of the LLM on these data. Experiments using the mortality tasks of the MIMIC-IV dataset show improvements up to 7% in terms of AUROC when compared to initial models. Additionally, we confirm that when compared to fine-tuned models, our proposal is less prone to data leak problems without hurting performance. Finally, we qualitatively show the capabilities of our proposal through a case study. Our best model is publicly available at https://huggingface.co/ Jgmorenof/mistral_merged_0_4.