FedFit: Federated Fine-Tuning of LLMs via Vector-Bank Parameterization and Quantization

📄 arXiv: 2610.01537v1 📥 PDF

作者: Hang Zou, Chao Zhang, Yuzhi Yang, Yu Tian, Samson Lasaulce, Mérouane Debbah

分类: cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出FedFit以解决联邦学习中的通信开销问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 大型语言模型 低秩适应 通信优化 模型微调 量化技术 隐私保护

📋 核心要点

  1. 现有的联邦学习方法在大型语言模型微调中面临巨大的通信开销问题，影响了其实际应用。
  2. 本文提出FedFit，通过不相交的共享向量库参数化和交替优化调度，显著降低通信开销并解决聚合困境。
  3. 实验结果表明，FedFit在困惑度性能上与标准联邦LoRA方法相当，同时实现了高达100倍的压缩比。

📝 摘要（中文）

联邦学习（FL）使得大型语言模型（LLMs）的隐私保护微调成为可能，但巨大的通信开销仍然是一个关键瓶颈。此外，在FL中应用低秩适应（LoRA）面临准确的乘积和（SoP）与通信高效的和的乘积（PoS）实现之间的基本“聚合困境”。为了解决这些挑战，本文提出了FedFit。首先，我们引入了一种不相交的共享向量库参数化方法，通过两个紧凑且不相交的全局向量库重构高维适配器矩阵，从而显著减少通信开销。其次，我们设计了一种交替优化调度，通过在解耦的单库更新（允许准确聚合）和通过残差谱聚合机制修正的联合更新之间循环，解决了SoP与PoS之间的冲突。此外，我们将块状量化与客户端误差反馈相结合，以进一步压缩传输向量。我们还为所提出的算法建立了理论收敛保证。对Qwen2.5模型的广泛实验表明，FedFit在困惑度性能上可与标准联邦LoRA方法相媲美，同时提供高达100倍的压缩比。

🔬 方法详解

问题定义：本文旨在解决联邦学习中大型语言模型微调的通信开销问题，现有方法在准确性与通信效率之间存在矛盾，尤其是在低秩适应（LoRA）应用中。

核心思路：FedFit通过引入不相交的共享向量库参数化，重构高维适配器矩阵，从而减少通信量。同时，采用交替优化调度来解决准确聚合与高效聚合之间的冲突。

技术框架：FedFit的整体架构包括两个主要模块：不相交的共享向量库和交替优化调度。前者用于参数化和重构适配器，后者则通过单库更新和联合更新的交替进行优化。

关键创新：FedFit的主要创新在于引入了残差谱聚合机制，解决了SoP与PoS之间的聚合困境，同时实现了显著的通信压缩。

关键设计：在设计中，采用了块状量化与客户端误差反馈机制，以进一步压缩传输向量，并为算法提供了理论收敛保证。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在对Qwen2.5模型的实验中，FedFit在困惑度性能上与标准联邦LoRA方法相当，同时实现了高达100倍的压缩比，显著提升了通信效率，展示了其在实际应用中的优势。

🎯 应用场景

FedFit的研究成果在多个领域具有广泛的应用潜力，尤其是在需要保护用户隐私的场景中，如医疗、金融和社交网络等。通过有效的模型微调和通信优化，FedFit能够推动联邦学习技术的实际应用，提升模型性能的同时保护数据隐私。

📄 摘要（原文）

Federated Learning (FL) enables privacy-preserving fine-tuning of Large Language Models (LLMs), yet the massive communication overhead remains a critical bottleneck. Furthermore, applying Low-Rank Adaptation (LoRA) in FL faces a fundamental "aggregation dilemma" between the accurate Sum-of-Products (SoP) and the communication-efficient Product-of-Sums (PoS) implementations. To tackle these challenges, we propose FedFit. First, to significantly reduce communication overhead, we introduce a disjoint shared vector-bank parameterization that reconstructs high-dimensional adapter matrices from two compact and disjoint global vector banks. Second, to address the aggregation dilemma, we devise an alternating optimization schedule. By cycling between decoupled single-bank updates (which allow for accurate aggregation) and joint updates corrected by a Residual Spectral Aggregation mechanism, we resolve the conflict between SoP and PoS. Additionally, we integrate blockwise quantization with client-side error feedback to further compress the transmitted vectors. Furthermore, we establish theoretical convergence guarantees for the proposed algorithm. Extensive experiments on Qwen2.5 models demonstrate that FedFit achieves perplexity performance comparable to standard federated LoRA methods, while providing compression ratios up to 100x higher.