FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-World LoRA

📄 arXiv: 2503.11880v3 📥 PDF

作者: Jieming Bian, Lei Wang, Letian Zhang, Jie Xu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-03-14 (更新: 2025-11-14)

备注: Accepted by AAAI 2026

💡 一句话要点

提出FedALT，通过自适应局部训练和RoW LoRA实现个性化联邦微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 LoRA微调 个性化模型 自适应学习 混合专家模型

📋 核心要点

  1. 现有联邦LoRA微调方法基于FedAvg，难以应对数据异构性，导致有害的跨客户端干扰和次优的个性化。
  2. FedALT通过引入Rest-of-World (RoW) LoRA组件，并使用自适应混合器动态平衡局部LoRA和RoW LoRA，实现个性化联邦微调。
  3. 实验表明，FedALT在NLP基准测试中显著优于现有方法，实现了更好的局部适应性，同时保持了计算效率。

📝 摘要（中文）

本文提出FedALT，一种新颖的个性化联邦LoRA微调算法，从根本上不同于FedAvg。该方法不使用聚合模型初始化局部训练，而是让每个客户端继续训练其独立的LoRA，并通过一个单独的Rest-of-World (RoW) LoRA组件来整合共享知识。为了有效地平衡局部适应和全局信息，FedALT引入了一个自适应混合器，该混合器动态地学习个体LoRA和RoW LoRA组件之间输入特定的权重，其概念基础源于混合专家(MoE)范式。通过在NLP基准上的大量实验，证明FedALT显著优于最先进的个性化联邦LoRA微调方法，在不牺牲计算效率的情况下实现了卓越的局部适应。

🔬 方法详解

问题定义：联邦学习中，直接聚合模型会导致跨客户端干扰，尤其是在数据异构性较高的情况下。现有的基于FedAvg的联邦LoRA微调方法无法很好地解决这个问题，导致模型个性化效果不佳，泛化能力受损。

核心思路：FedALT的核心思路是让每个客户端维护自己的LoRA模型，同时引入一个共享的Rest-of-World (RoW) LoRA模型来学习全局知识。通过自适应混合器，动态地调整局部LoRA和RoW LoRA的权重，从而在局部适应和全局信息之间取得平衡。

技术框架：FedALT的整体框架如下：1) 每个客户端初始化自己的LoRA模型。2) 服务器维护一个RoW LoRA模型，该模型通过聚合客户端的LoRA模型进行更新。3) 在每个客户端，使用自适应混合器将局部LoRA和RoW LoRA的输出进行加权融合。4) 客户端使用本地数据训练融合后的模型。5) 客户端将LoRA更新上传到服务器。

关键创新：FedALT的关键创新在于引入了RoW LoRA和自适应混合器。RoW LoRA允许客户端共享全局知识，而自适应混合器则可以根据输入动态地调整局部和全局信息的权重，从而实现更好的个性化。与传统的FedAvg方法相比，FedALT避免了直接聚合模型，从而减少了跨客户端干扰。

关键设计：自适应混合器使用一个小型神经网络来预测局部LoRA和RoW LoRA的权重。该网络的输入是模型的中间层输出，输出是两个权重值，分别对应局部LoRA和RoW LoRA。损失函数包括本地任务损失和正则化项，用于防止权重过度偏向某一方。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedALT在多个NLP基准测试中显著优于现有的个性化联邦LoRA微调方法。例如，在某些任务上，FedALT的性能提升超过5%。此外，FedALT在保持高性能的同时，还具有良好的计算效率，使其能够应用于大规模的联邦学习场景。

🎯 应用场景

FedALT可应用于各种需要个性化联邦学习的场景，例如：个性化推荐系统、医疗诊断、金融风控等。它能够在保护用户隐私的前提下，利用多方数据训练出高性能的个性化模型，提升用户体验和业务效果。未来，该方法可以进一步扩展到其他模型架构和数据类型，并与其他联邦学习技术相结合。

📄 摘要（原文）

Fine-tuning large language models (LLMs) in federated settings enables privacy-preserving adaptation but suffers from cross-client interference due to model aggregation. Existing federated LoRA fine-tuning methods, primarily based on FedAvg, struggle with data heterogeneity, leading to harmful cross-client interference and suboptimal personalization. In this work, we propose \textbf{FedALT}, a novel personalized federated LoRA fine-tuning algorithm that fundamentally departs from FedAvg. Instead of using an aggregated model to initialize local training, each client continues training its individual LoRA while incorporating shared knowledge through a separate Rest-of-World (RoW) LoRA component. To effectively balance local adaptation and global information, FedALT introduces an adaptive mixer that dynamically learns input-specific weightings between the individual and RoW LoRA components, drawing conceptual foundations from the Mixture-of-Experts (MoE) paradigm. Through extensive experiments on NLP benchmarks, we demonstrate that FedALT significantly outperforms state-of-the-art personalized federated LoRA fine-tuning methods, achieving superior local adaptation without sacrificing computational efficiency.