Towards Robust and Efficient Federated Low-Rank Adaptation with Heterogeneous Clients

📄 arXiv: 2410.22815v2 📥 PDF

作者: Jabin Koo, Minwoo Jang, Jungseul Ok

分类: cs.LG, cs.AI, cs.DC

发布日期: 2024-10-30 (更新: 2025-05-30)

备注: Appears in ACL 2025

💡 一句话要点

提出LoRA-A$^2$，解决异构联邦学习中低秩适应的鲁棒性和效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 低秩适应 大型语言模型 异构数据 模型聚合

📋 核心要点

  1. 现有联邦学习中的LoRA方法在数据异构性高和秩较低时，模型聚合效果差，导致性能下降。
  2. LoRA-A$^2$通过交替冻结和自适应秩选择，提升了在异构数据和低秩条件下的鲁棒性。
  3. 实验表明，LoRA-A$^2$在极端异构和低秩条件下保持性能，显著减少了上传参数，提升通信效率。

📝 摘要（中文）

针对大型语言模型（LLM）的联邦微调，由于传输大型模型更新带来的巨大通信开销，面临着严峻的挑战。虽然低秩适应（LoRA）已被提出作为一种解决方案，但其在联邦学习中的应用因聚合的不一致性而变得复杂。现有解决这种不一致性的方法通常在异构数据设置中的低秩情况下会遭受性能下降。为此，我们引入了LoRA-A$^2$（具有交替冻结和自适应秩选择的低秩适应），它在具有低秩和高数据异构性的挑战性环境中表现出鲁棒性。我们的实验结果表明，即使在极端异构性和低秩条件下，LoRA-A$^2$也能保持性能，与完全微调相比，在不影响性能的情况下，上传参数显著减少。这种自适应机制提高了联邦微调的鲁棒性和通信效率，从而能够在资源受限的环境中实际部署LLM。

🔬 方法详解

问题定义：联邦学习中对大型语言模型进行微调时，需要传输大量的模型参数，导致通信开销巨大。LoRA虽然通过低秩分解减少了参数量，但直接应用于异构联邦学习时，由于各客户端数据分布不同，导致模型更新方向不一致，聚合效果差，尤其是在低秩情况下，模型性能会显著下降。

核心思路：LoRA-A$^2$的核心思路是通过交替冻结和自适应秩选择来解决异构数据下的模型聚合问题。交替冻结允许模型在训练过程中选择性地更新部分参数，从而减少不同客户端之间的差异。自适应秩选择则根据客户端数据的复杂程度动态调整LoRA的秩，避免在数据简单的情况下使用过高的秩，从而提高效率。

技术框架：LoRA-A$^2$的整体框架仍然是联邦学习的经典流程，包括服务器的模型初始化、客户端的模型下载、本地训练、模型上传和服务器的模型聚合。不同之处在于，在客户端本地训练阶段，LoRA-A$^2$引入了交替冻结和自适应秩选择机制。具体来说，每个客户端首先根据本地数据自适应地选择LoRA的秩，然后在训练过程中，交替冻结部分LoRA参数，只更新剩余参数。最后，客户端将更新后的LoRA参数上传到服务器进行聚合。

关键创新：LoRA-A$^2$的关键创新在于交替冻结和自适应秩选择的结合。交替冻结可以有效地减少客户端之间的模型差异，提高聚合效果。自适应秩选择则可以根据客户端数据的复杂程度动态调整LoRA的秩，从而在保证性能的同时，减少通信开销。这种自适应机制使得LoRA-A$^2$在异构数据和低秩条件下具有更好的鲁棒性和效率。

关键设计：LoRA-A$^2$的关键设计包括：1) 自适应秩选择策略：根据客户端本地数据的梯度范数或方差等指标，动态调整LoRA的秩。2) 交替冻结策略：在训练过程中，随机或根据某种策略冻结部分LoRA参数，只更新剩余参数。3) 聚合策略：服务器端使用联邦平均等算法对客户端上传的LoRA参数进行聚合。

📊 实验亮点

实验结果表明，LoRA-A$^2$在极端异构性和低秩条件下，与全量微调相比，在不损失性能的前提下，显著减少了上传参数量。具体而言，在某些数据集上，LoRA-A$^2$能够将上传参数减少到全量微调的10%以下，同时保持与全量微调相当甚至更好的性能。

🎯 应用场景

LoRA-A$^2$适用于资源受限的联邦学习环境，例如移动设备或边缘服务器。它可以应用于各种需要联邦学习的大型语言模型微调任务，如个性化推荐、情感分析、机器翻译等。该方法能够显著降低通信开销，提高模型在异构数据下的鲁棒性，从而加速LLM在实际场景中的部署。

📄 摘要（原文）

Federated fine-tuning for Large Language Models (LLMs) faces significant challenges due to the heavy communication overhead of transmitting large model updates. Although Low Rank Adaptation (LoRA) has been proposed as a solution, yet its application in federated learning is complicated by discordance in aggregation. Existing methods addressing this discordance often suffer from performance degradation at low ranks in heterogeneous data settings. In response, we introduce LoRA-A$^2$ (Low Rank Adaptation with Alternating freeze and Adaptive rank selection), which demonstrates robustness in challenging settings with low ranks and high data heterogeneity. Our experimental findings reveal that LoRA-A$^2$ maintains performance even under extreme heterogeneity and low rank conditions, achieving up to a significant reduction in uploaded parameters compared to full fine-tuning without compromising performance. This adaptive mechanism increases robustness and communication efficiency in federated fine-tuning, enabling the practical deployment of LLMs in resource-constrained environments.