Federated LoRA Fine-Tuning for LLMs via Collaborative Alignment

📄 arXiv: 2605.21217v1 📥 PDF

作者: Shuaida He, Liwen Chen, Long Feng

分类: stat.ML, cs.LG

发布日期: 2026-05-20

💡 一句话要点

提出CLAIR框架以解决联邦学习中的LoRA微调问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 低秩适应 大规模语言模型 数据污染 模型微调 协作学习 结构化分解

📋 核心要点

  1. 现有方法在联邦学习中面临客户端异构性和数据污染的挑战，导致微调效果不佳。
  2. 论文提出CLAIR框架，通过结构化低秩分解实现共享LoRA子空间的恢复与污染检测，提升微调效率。
  3. 实验结果显示CLAIR在文本复制任务中准确检测污染客户端，并在性能上优于本地微调和非鲁棒的联邦平均方法。

📝 摘要（中文）

低秩适应（LoRA）已成为大规模语言模型（LLMs）参数高效微调的强大工具。本文研究了在联邦学习环境下的LoRA，使得客户端能够协同微调，同时保持参数效率。我们关注于高度异构的场景，其中客户端仅共享部分结构，并且可能存在污染。我们提出了协作低秩对齐与可识别恢复（CLAIR）框架，该框架仅依赖初步的本地估计器。CLAIR通过结构化的低秩加块稀疏分解来恢复共享的LoRA子空间并检测污染客户端。我们证明了在无噪声情况下共享LoRA子空间的精确恢复，并在初步估计误差下的稳定恢复。实验证明CLAIR在文本复制任务中有效提高了微调性能。

🔬 方法详解

问题定义：本文旨在解决在联邦学习环境中进行LoRA微调时，客户端异构性和数据污染带来的挑战。现有方法在面对部分结构共享和污染数据时，往往无法有效恢复共享的LoRA子空间，导致微调效果不理想。

核心思路：论文提出的CLAIR框架通过依赖初步的本地估计器，结合结构化低秩加块稀疏分解，能够有效恢复共享的LoRA子空间并识别污染客户端。这种设计使得在高度异构的环境中仍能保持参数效率。

技术框架：CLAIR的整体架构包括三个主要模块：1) 初步本地估计器，用于获取每个客户端的初步参数；2) 结构化低秩加块稀疏分解，用于恢复共享的LoRA子空间；3) 污染检测机制，识别并排除污染客户端。

关键创新：CLAIR的核心创新在于其污染感知能力和对共享LoRA子空间的精确恢复，尤其是在客户端数据污染的情况下，能够有效提升微调效果。这与传统的联邦平均方法有本质区别。

关键设计：CLAIR的设计中，使用了特定的损失函数来优化共享子空间的恢复，同时引入了跨客户端平均机制，以减少子空间外估计误差。网络结构上，CLAIR适用于从线性回归到神经网络的多种模型，灵活性强。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLAIR在文本复制任务中能够准确检测污染客户端，并在微调性能上相较于本地微调和非鲁棒的联邦平均方法有显著提升，具体性能提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和个性化推荐等。通过在联邦学习环境中实现高效的模型微调，CLAIR能够帮助不同客户端在保护数据隐私的同时，提升模型性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Low-rank adaptation (LoRA) has emerged as a powerful tool for parameter-efficient fine-tuning of large language models (LLMs). This paper studies LoRA under a federated learning setting, enabling collaborative fine-tuning across clients while preserving parameter efficiency. We focus on a highly heterogeneous regime in which clients share only partial structure and a substantial subset may be contaminated. We propose Collaborative Low-rank Alignment and Identifiable Recovery (CLAIR), a contamination-aware framework that relies only on preliminary local estimators. Its formulation applies broadly, from linear regression to neural network and LLM modules, whenever local adaptation can be represented by matrix-valued updates. CLAIR recovers the shared LoRA subspace and detects contaminated clients via a structured low-rank plus block-sparse decomposition. We prove exact recovery of the shared LoRA subspace in the noiseless case, stable recovery under preliminary estimation error, and consistent collaborative-set recovery under mild separation conditions. We further quantify the gain from CLAIR refinement: it reduces off-subspace estimation error through cross-client averaging while preserving client-specific variation within the shared LoRA subspace, thus improves over local fine-tuning whenever this oracle gain outweighs the costs of subspace estimation and benign-client heterogeneity. Empirically, we demonstrate the benefits of CLAIR by fine-tuning a Transformer architecture on a text-copying task. The results show accurate contamination detection and improved benign-client performance compared with local fine-tuning and non-robust federated averaging.