AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption

📄 arXiv: 2505.24773v2 📥 PDF

作者: Yajie Zhou, Xiaoyi Pang, Zhibo Wang

分类: cs.LG

发布日期: 2025-05-30 (更新: 2025-08-20)

💡 一句话要点

AFLoRA：面向异构资源环境，自适应联邦微调大语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 大语言模型 参数高效微调 低秩适应 资源感知 数据异构性 自适应学习

📋 核心要点

  1. 现有联邦微调方法难以兼顾低秩更新的精确聚合和低系统成本，导致全局模型性能受限于最弱客户端，并因本地数据的非独立同分布特性而进一步降低。
  2. AFLoRA框架通过解耦共享和客户端特定更新，利用对角矩阵进行秩剪枝，并结合秩感知聚合与公共数据优化，从而实现高效且准确的联邦微调。
  3. 实验结果表明，AFLoRA在准确性和效率上均超越了现有技术，为异构环境下的大语言模型联邦微调提供了一种可行的方案。

📝 摘要（中文）

本文提出AFLoRA，一个用于大语言模型（LLM）的自适应轻量级联邦微调框架，旨在解决在异构和受限的客户端上微调LLM所面临的计算和通信挑战。AFLoRA通过解耦共享和客户端特定的更新来减少开销并提高聚合精度，结合基于对角矩阵的秩剪枝以更好地利用本地资源，并采用具有公共数据优化的秩感知聚合来增强数据异构性下的泛化能力。大量实验表明，AFLoRA在准确性和效率方面均优于现有方法，为现实世界中异构环境下的高效LLM自适应提供了一种实用的解决方案。

🔬 方法详解

问题定义：论文旨在解决异构联邦学习场景下，大语言模型微调所面临的资源约束和数据异构性问题。现有方法，如直接进行联邦微调或采用LoRA等参数高效方法，难以在保证模型性能的同时，有效降低通信和计算开销，并且容易受到最弱客户端的限制，导致全局模型性能下降。

核心思路：AFLoRA的核心思路是自适应地调整每个客户端的LoRA秩，并采用一种新的聚合策略，以更好地利用本地资源，减少通信开销，并提高全局模型的泛化能力。通过解耦共享和客户端特定的更新，可以更精确地聚合低秩更新，同时降低系统开销。

技术框架：AFLoRA框架主要包含三个关键模块：1) 解耦更新：将模型更新分为共享更新和客户端特定更新，减少通信开销。2) 自适应秩剪枝：基于对角矩阵的秩剪枝方法，根据客户端的资源情况自适应地调整LoRA秩。3) 秩感知聚合：利用公共数据进行优化，并根据LoRA秩对客户端更新进行加权聚合，提高全局模型的泛化能力。

关键创新：AFLoRA的关键创新在于其自适应的LoRA秩调整策略和秩感知聚合方法。传统的LoRA方法通常使用固定的秩，无法充分利用异构客户端的资源。AFLoRA通过对角矩阵进行秩剪枝，可以根据客户端的资源情况动态调整LoRA秩，从而更好地平衡模型性能和计算开销。秩感知聚合则可以根据LoRA秩对客户端更新进行加权，从而提高全局模型的泛化能力。

关键设计：AFLoRA使用对角矩阵来近似LoRA的更新矩阵，并通过剪枝对角矩阵中的小元素来降低LoRA的秩。客户端根据本地资源情况选择合适的剪枝阈值。聚合时，使用公共数据集对客户端更新进行微调，并根据LoRA秩对更新进行加权平均。损失函数包括微调损失和正则化损失，以防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AFLoRA在多个数据集上均优于现有的联邦微调方法，例如在文本分类任务上，AFLoRA相比于FedAvg和FedProx等基线方法，在准确率上提升了2%-5%。此外，AFLoRA还能够显著降低通信开销，并更好地适应异构客户端的资源约束。

🎯 应用场景

AFLoRA适用于各种需要利用分布式数据进行大语言模型微调的场景，例如：金融风控、医疗诊断、智能客服等。它能够在保护用户隐私的同时，提升模型在特定领域的性能，具有重要的实际应用价值。未来，AFLoRA可以进一步扩展到其他类型的模型和任务，并与其他联邦学习技术相结合，构建更加强大和灵活的联邦学习系统。

📄 摘要（原文）

Federated fine-tuning has emerged as a promising approach to adapt foundation models to downstream tasks using decentralized data. However, real-world deployment remains challenging due to the high computational and communication demands of fine-tuning Large Language Models (LLMs) on clients with data and system resources that are heterogeneous and constrained. In such settings, the global model's performance is often bottlenecked by the weakest clients and further degraded by the non-IID nature of local data. Although existing methods leverage parameter-efficient techniques such as Low-Rank Adaptation (LoRA) to reduce communication and computation overhead, they often fail to simultaneously ensure accurate aggregation of low-rank updates and maintain low system costs, thereby hindering overall performance. To address these challenges, we propose AFLoRA, an adaptive and lightweight federated fine-tuning framework for LLMs. AFLoRA decouples shared and client-specific updates to reduce overhead and improve aggregation accuracy, incorporates diagonal matrix-based rank pruning to better utilize local resources, and employs rank-aware aggregation with public data refinement to strengthen generalization under data heterogeneity. Extensive experiments demonstrate that AFLoRA outperforms state-of-the-art methods in both accuracy and efficiency, providing a practical solution for efficient LLM adaptation in heterogeneous environments in the real world.