pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning

📄 arXiv: 2310.13283v2 📥 PDF

作者: Liping Yi, Han Yu, Gang Wang, Xiaoguang Liu, Xiaoxiao Li

分类: cs.LG, cs.DC

发布日期: 2023-10-20 (更新: 2024-02-11)

💡 一句话要点

提出pFedLoRA以解决模型异构个性化联邦学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 个性化学习 模型异构 LoRA调优 深度学习 适配器技术 知识交换

📋 核心要点

  1. 现有的模型异构个性化联邦学习方法在计算和通信成本上无法达到令人满意的水平，同时又难以保持模型性能。
  2. 本文提出了一种基于LoRA调优的模型异构个性化联邦学习框架pFedLoRA，通过设计同质小适配器来促进异构本地模型的训练。
  3. 在两个基准数据集上的实验结果显示，pFedLoRA在测试准确率上超越了六个最先进的基线方法，计算和通信成本显著降低。

📝 摘要（中文）

联邦学习（FL）是一种新兴的机器学习范式，允许多个参与者在去中心化数据上协作训练。然而，FL在实际应用中面临统计、系统和模型异构性的问题，促使模型异构个性化联邦学习（MHPFL）领域的发展。为了解决现有MHPFL方法在计算和通信成本上的不足，同时保持模型性能，本文提出了一种基于LoRA调优的新型高效模型异构个性化联邦学习框架pFedLoRA。该方法通过设计同质小适配器，促进联邦客户端的异构本地模型训练，并通过迭代训练实现全球与本地知识的交换。实验结果表明，pFedLoRA在两个基准数据集上超越了六个最先进的基线方法，测试准确率提升1.35%，计算开销减少11.81倍，通信成本节省7.41倍。

🔬 方法详解

问题定义：本文旨在解决模型异构个性化联邦学习中存在的计算和通信成本高的问题。现有方法在处理大规模语言模型时，无法在保持性能的同时有效降低这些成本。

核心思路：pFedLoRA的核心思路是通过引入同质小适配器来优化异构本地模型的训练，利用迭代训练实现全球与本地知识的有效交换，从而提高模型的性能和效率。

技术框架：pFedLoRA的整体架构包括客户端的同质小适配器和FL服务器的全局适配器。客户端通过小适配器进行本地模型训练，服务器则聚合各个客户端的适配器以生成全局适配器。

关键创新：pFedLoRA的主要创新在于引入了同质小适配器的设计，使得异构模型能够在联邦学习环境中高效训练，并通过理论证明了其收敛性。与现有方法相比，pFedLoRA在计算和通信效率上有显著提升。

关键设计：在设计上，pFedLoRA使用了低秩模型作为适配器，设置了适当的损失函数以优化训练过程，并确保适配器的结构能够有效支持异构模型的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，pFedLoRA在两个基准数据集上表现优异，测试准确率比六个最先进的基线方法提升了1.35%。此外，计算开销减少了11.81倍，通信成本节省了7.41倍，显示出其在效率和性能上的显著优势。

🎯 应用场景

pFedLoRA的研究成果在多个领域具有潜在应用价值，尤其是在需要保护用户隐私的场景中，如医疗健康、金融服务和智能家居等。通过高效的个性化模型训练，能够为用户提供更精准的服务，同时降低数据传输和计算成本，推动智能应用的发展。

📄 摘要（原文）

Federated learning (FL) is an emerging machine learning paradigm in which a central server coordinates multiple participants (clients) collaboratively to train on decentralized data. In practice, FL often faces statistical, system, and model heterogeneities, which inspires the field of Model-Heterogeneous Personalized Federated Learning (MHPFL). With the increased interest in adopting large language models (LLMs) in FL, the existing MHPFL methods cannot achieve acceptable computational and communication costs, while maintaining satisfactory model performance. To bridge this gap, we propose a novel and efficient model-heterogeneous personalized Federated learning framework based on LoRA tuning (pFedLoRA). Inspired by the popular LoRA method for fine-tuning pre-trained LLMs with a low-rank model (a.k.a., an adapter), we design a homogeneous small adapter to facilitate federated client's heterogeneous local model training with our proposed iterative training for global-local knowledge exchange. The homogeneous small local adapters are aggregated on the FL server to generate a global adapter. We theoretically prove the convergence of pFedLoRA. Extensive experiments on two benchmark datasets demonstrate that pFedLoRA outperforms six state-of-the-art baselines, beating the best method by 1.35% in test accuracy, 11.81 times computation overhead reduction and 7.41 times communication cost saving.