A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine

📄 arXiv: 2601.22124v1 📥 PDF

作者: Anran Li, Yuanyuan Chen, Wenjun Long, Yu Yin, Yan Hu, Hyunjae Kim, Weipeng Zhou, Yujia Zhou, Hongyi Peng, Yang Ren, Xuguang Ai, Zhenyue Qin, Ming Hu, Xiaoxiao Li, Han Yu, Yih-Chung Tham, Lucila Ohno-Machado, Hua Xu, Qingyu Chen

分类: cs.CL, cs.DC

发布日期: 2026-01-29

备注: 38 pages, 9 tables, 3 figures

💡 一句话要点

提出Fed-MedLoRA框架，用于医学领域大语言模型的联邦式参数高效训练。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 大语言模型 参数高效学习 医学信息抽取 低秩适配器

📋 核心要点

  1. 现有医学LLM训练受限于单机构数据，泛化性和安全性不足，且传统联邦学习传输完整模型开销巨大。
  2. 提出Fed-MedLoRA框架，仅传输低秩适配器参数，降低通信和计算成本，并引入数据感知聚合。
  3. 在临床信息抽取任务上，通过与BERT、LLaMA-3、DeepSeek-R1和GPT-4o比较，验证了框架的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在医学基准测试中表现出强大的性能，包括问答和诊断。为了在临床环境中应用，通常使用临床数据对LLMs进行持续预训练或后训练。然而，大多数医学LLMs都是在单个机构的数据上训练的，这在异构系统中面临泛化性和安全性的限制。联邦学习（FL）是一种有前景的解决方案，可以实现跨医疗机构的协作模型开发。然而，将FL应用于医学领域的LLMs仍然存在根本性的限制。首先，传统的FL需要在每个通信轮次传输完整的模型，这对于具有数十亿参数的LLMs来说是不切实际的，因为计算资源有限。其次，许多FL算法隐含地假设数据同质性，而现实世界的临床数据在患者、疾病和机构实践方面高度异质。我们引入了模型无关且参数高效的联邦学习框架，用于将LLMs适配到医学应用。Fed-MedLoRA仅传输低秩适配器参数，从而减少了通信和计算开销，而Fed-MedLoRA+进一步结合了自适应的、数据感知的聚合，以提高跨站点异质性下的收敛性。我们将该框架应用于临床信息抽取（IE），该过程将患者叙述转换为结构化的医学实体和关系。通过与BERT模型、LLaMA-3和DeepSeek-R1、GPT-4o模型的比较，在五个患者队列中评估了准确性。评估设置包括（1）域内训练和测试，（2）独立队列上的外部验证，以及（3）使用耶鲁纽黑文医疗系统的真实临床笔记的低资源新站点适应场景。

🔬 方法详解

问题定义：论文旨在解决医学领域大语言模型在联邦学习场景下的训练难题。现有方法主要痛点在于：1) 传统联邦学习需要传输整个模型，对于参数量巨大的LLM来说通信开销过高；2) 临床数据在不同机构间存在高度异质性，导致模型难以有效泛化。

核心思路：论文的核心思路是利用参数高效的联邦学习方法，仅传输少量参数，并结合数据感知的聚合策略，以应对数据异质性问题。通过这种方式，降低通信开销，同时提升模型在异构数据上的泛化能力。

技术框架：Fed-MedLoRA框架包含以下主要模块：1) 本地训练：每个参与方使用本地数据训练LLM的低秩适配器（LoRA）参数；2) 参数传输：仅将LoRA参数上传到中心服务器；3) 参数聚合：中心服务器使用联邦平均或其他聚合算法聚合来自不同参与方的LoRA参数；4) 模型更新：将聚合后的LoRA参数更新到本地LLM。Fed-MedLoRA+在此基础上，引入了自适应的、数据感知的聚合策略。

关键创新：论文的关键创新在于：1) 提出了基于LoRA的参数高效联邦学习方法，显著降低了通信开销；2) 引入了数据感知的聚合策略，以应对临床数据的异质性问题，提升模型在不同机构间的泛化能力。

关键设计：LoRA的秩(rank)是一个关键参数，决定了需要训练的参数量。论文可能探索了不同秩对模型性能的影响。数据感知的聚合策略可能基于某种相似性度量，例如基于机构的特征或数据的统计属性，来动态调整不同参与方的权重。损失函数通常是标准的交叉熵损失，但可能针对信息抽取任务进行了微调。

📊 实验亮点

实验结果表明，Fed-MedLoRA在临床信息抽取任务上取得了显著的性能提升。与传统的BERT模型相比，Fed-MedLoRA在多个患者队列上实现了更高的准确率。此外，Fed-MedLoRA+通过数据感知的聚合策略，进一步提升了模型在异构数据上的泛化能力。在低资源新站点适应场景中，Fed-MedLoRA也表现出了良好的适应性，证明了其在实际临床应用中的潜力。

🎯 应用场景

该研究成果可应用于医疗领域的多个场景，例如临床信息抽取、辅助诊断、药物研发等。通过联邦学习，可以安全地利用多个医疗机构的数据，训练出更强大、更通用的医学LLM，从而提升医疗服务的质量和效率。未来，该方法有望推广到其他数据敏感的领域，如金融、法律等。

📄 摘要（原文）

Large language models (LLMs) have demonstrated strong performance on medical benchmarks, including question answering and diagnosis. To enable their use in clinical settings, LLMs are typically further adapted through continued pretraining or post-training using clinical data. However, most medical LLMs are trained on data from a single institution, which faces limitations in generalizability and safety in heterogeneous systems. Federated learning (FL) is a promising solution for enabling collaborative model development across healthcare institutions. Yet applying FL to LLMs in medicine remains fundamentally limited. First, conventional FL requires transmitting the full model during each communication round, which becomes impractical for multi-billion-parameter LLMs given the limited computational resources. Second, many FL algorithms implicitly assume data homogeneity, whereas real-world clinical data are highly heterogeneous across patients, diseases, and institutional practices. We introduce the model-agnostic and parameter-efficient federated learning framework for adapting LLMs to medical applications. Fed-MedLoRA transmits only low-rank adapter parameters, reducing communication and computation overhead, while Fed-MedLoRA+ further incorporates adaptive, data-aware aggregation to improve convergence under cross-site heterogeneity. We apply the framework to clinical information extraction (IE), which transforms patient narratives into structured medical entities and relations. Accuracy was assessed across five patient cohorts through comparisons with BERT models, and LLaMA-3 and DeepSeek-R1, GPT-4o models. Evaluation settings included (1) in-domain training and testing, (2) external validation on independent cohorts, and (3) a low-resource new-site adaptation scenario using real-world clinical notes from the Yale New Haven Health System.