Resource-Efficient Federated Fine-Tuning Large Language Models for Heterogeneous Data

📄 arXiv: 2503.21213v1 📥 PDF

作者: Jun Liu, Yunming Liao, Hongli Xu, Yang Xu

分类: cs.LG

发布日期: 2025-03-27

💡 一句话要点

提出HierFedLoRA框架，解决联邦学习微调大模型时的数据异构与资源约束问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 大型语言模型 低秩适应 数据异构 资源优化

📋 核心要点

  1. 现有FedLoRA方法在数据异构环境下性能显著下降，且未充分考虑不同客户端的资源差异。
  2. HierFedLoRA通过分层分组和动态调整微调深度，优化聚合频率，从而应对数据异构和资源约束。
  3. 实验表明，HierFedLoRA在模型精度和微调速度上均优于现有方法，具有实际应用价值。

📝 摘要（中文）

本文提出了一种用于联邦学习微调大型语言模型(LLM)的资源高效方法，即FedLLM，旨在以保护隐私的方式将LLM适配到各种下游应用。为了降低资源受限设备上的微调成本，提出了FedLoRA，通过将低秩适应(LoRA)集成到FedLLM中，仅微调模型参数的一小部分。然而，除了资源约束之外，数据异构性仍然是一个严峻的挑战，严重阻碍了FedLoRA在实际应用中的实施。受先前基于群组的联邦学习范式的启发，本文提出了一种分层FedLoRA框架，称为HierFedLoRA，以应对这些挑战。具体来说，HierFedLoRA将所有设备划分为多个近IID组，并调整每个组的组内聚合频率，以消除非IID数据的负面影响。同时，为了降低计算和通信成本，HierFedLoRA为每个组动态分配不同的、合适的微调深度(即，从输出开始的连续微调层数)。HierFedLoRA探索联合优化聚合频率和深度，以更好地增强FedLoRA的性能。在包含80个商用设备的物理平台上进行了大量实验。结果表明，与强大的基线相比，HierFedLoRA将最终模型精度提高了1.6%到4.2%，并将微调过程加速了至少2.1倍。

🔬 方法详解

问题定义：论文旨在解决联邦学习场景下，利用LoRA微调大型语言模型时，由于数据异构性和客户端资源约束带来的模型性能下降和训练效率低下的问题。现有FedLoRA方法在非独立同分布(non-IID)数据上表现不佳，且忽略了不同客户端的计算能力差异，导致资源利用率不高。

核心思路：论文的核心思路是将客户端划分为多个近独立同分布(near-IID)的组，并为每个组动态调整聚合频率和微调深度。通过分组，减少数据异构性带来的负面影响；通过动态调整微调深度，平衡模型性能和计算成本，充分利用客户端资源。

技术框架：HierFedLoRA框架包含以下主要步骤：1) 客户端分组：根据数据相似性将客户端划分为多个组，保证组内数据分布相对一致。2) 组内聚合：每个组内的客户端进行局部LoRA微调，并按照组特定的聚合频率进行模型聚合。3) 微调深度分配：根据组内数据特性和客户端资源情况，动态分配每个组的微调深度，即需要微调的LoRA层数。4) 全局聚合：所有组聚合后的模型参数上传到服务器进行全局聚合，更新全局模型。

关键创新：HierFedLoRA的关键创新在于联合优化聚合频率和微调深度。传统方法通常独立地考虑这两个因素，而HierFedLoRA认识到它们之间的耦合关系，并设计了一种算法来同时优化这两个参数，从而更好地平衡模型性能和训练效率。

关键设计：HierFedLoRA的关键设计包括：1) 基于数据相似性的客户端分组策略，例如可以使用聚类算法。2) 动态调整聚合频率的机制，例如可以根据组内数据的异构程度来调整。3) 动态分配微调深度的策略，例如可以根据组内客户端的平均计算能力来调整。4) 联合优化聚合频率和微调深度的算法，例如可以使用强化学习或进化算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在包含80个商用设备的物理平台上进行的实验表明，HierFedLoRA相比于基线FedLoRA，在模型精度上提升了1.6%到4.2%，同时将微调过程加速了至少2.1倍。这些结果验证了HierFedLoRA在数据异构和资源约束环境下的有效性。

🎯 应用场景

HierFedLoRA适用于各种需要联邦学习微调大型语言模型的场景，例如：个性化医疗诊断、金融风控、智能客服等。该方法能够在保护用户隐私的前提下，利用异构数据提升模型性能，并降低计算和通信成本，具有广泛的应用前景。

📄 摘要（原文）

Fine-tuning large language models (LLMs) via federated learning, i.e., FedLLM, has been proposed to adapt LLMs for various downstream applications in a privacy-preserving way. To reduce the fine-tuning costs on resource-constrained devices, FedLoRA is proposed to fine-tune only a small subset of model parameters by integrating low-rank adaptation (LoRA) into FedLLM. However, apart from resource constraints, there is still another critical challenge, i.e., data heterogeneity, severely hindering the implementation of FedLoRA in practical applications. Herein, inspired by the previous group-based federated learning paradigm, we propose a hierarchical FedLoRA framework, termed HierFedLoRA, to address these challenges. Specifically, HierFedLoRA partitions all devices into multiple near-IID groups and adjusts the intra-group aggregation frequency for each group to eliminate the negative effects of non-IID data. Meanwhile, to reduce the computation and communication cost, HierFedLoRA dynamically assigns diverse and suitable fine-tuning depth (i.e., the number of continuous fine-tuning layers from the output) for each group. HierFedLoRA explores jointly optimizing aggregation frequency and depth upon their coupled relationship to better enhance the performance of FedLoRA. Extensive experiments are conducted on a physical platform with 80 commercial devices. The results show that HierFedLoRA improves the final model accuracy by 1.6% to 4.2%, speeding up the fine-tuning process by at least 2.1$\times$, compared to the strong baselines.