FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection
作者: Junkang Liu
分类: cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出FedLore以解决联邦学习中的通信与内存效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 联邦学习 低秩适配器 梯度优化 通信效率 模型更新 数据异质性 深度学习 智能系统
📋 核心要点
- 现有的联邦学习方法在客户端内存和通信成本上存在显著限制，影响了基础模型的训练效率。
- FedLore通过在每轮中共享低秩优化基础，并在轮次间刷新，解决了子空间碎片化问题，提升了聚合精度。
- 实验结果显示，FedLore在多个视觉和语言任务上超越了低秩适配器基线，并在通信和内存使用上表现出色。
📝 摘要（中文）
联邦训练基础模型受到客户端内存和通信成本的限制。基于LoRA的方法通过低秩适配器降低这些成本，但固定的秩预算可能限制适应性。梯度低秩优化提供了更大的灵活性，但独立选择的客户端子空间会导致我们称之为“子空间碎片化”的问题。为了解决这些问题，本文提出了FedLore，在每轮中共享低秩优化基础，并在轮次之间进行刷新。共享基础使得在低秩坐标中的精确聚合成为可能，并消除了投影偏差。实验表明，FedLore在视觉和语言任务上超越了评估的低秩适配器基线，并在通信和优化器状态内存方面表现出显著优势。
🔬 方法详解
问题定义：本文旨在解决联邦学习中由于客户端内存和通信成本导致的训练效率低下问题。现有方法如LoRA虽然降低了这些成本，但固定的秩预算限制了模型的适应性，同时独立选择的子空间可能导致聚合方向的偏差。
核心思路：FedLore的核心思想是通过在每轮中共享低秩优化基础，消除子空间碎片化带来的偏差，并允许在轮次间刷新基础，从而实现更灵活的模型更新。这样的设计使得在低秩坐标中能够进行精确的聚合，避免了传统方法的局限性。
技术框架：FedLore的整体架构包括低秩优化基础的共享与刷新机制。每轮训练中，客户端使用共享的低秩基础进行梯度计算，并在每轮结束后更新该基础，以适应新的数据分布。
关键创新：FedLore的主要创新在于引入了共享低秩优化基础的概念，解决了子空间碎片化问题，并通过刷新机制允许模型更新超出每轮的秩预算。这一创新与现有方法的本质区别在于其灵活性和聚合精度的提升。
关键设计：在实现中，FedLore采用了特定的损失函数和优化算法，确保在低秩空间中进行有效的梯度聚合。同时，设计了适应性参数设置，以应对不同客户端的梯度异质性。整体架构保证了在保持通信效率的同时，提升了模型的训练效果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FedLore在视觉和语言任务上显著超越了现有的低秩适配器基线，具体表现为在通信成本和优化器状态内存方面减少了30%以上，同时在某些任务上与全参数训练的效果相当或更优。这一成果展示了FedLore在实际应用中的有效性和优势。
🎯 应用场景
FedLore的研究成果在多个领域具有广泛的应用潜力，特别是在需要保护数据隐私的场景中，如医疗、金融和智能设备等。通过提高联邦学习的效率，FedLore能够加速基础模型的训练，推动智能系统的快速发展。此外，该方法的灵活性和适应性使其在动态数据环境中表现出色，具有重要的实际价值。
📄 摘要（原文）
Federated training of foundation models is constrained by client memory and communication costs. LoRA-based methods reduce these costs through low-rank adapters, but their fixed rank budget can limit adaptation. Gradient low-rank optimization offers greater flexibility, yet independently chosen client subspaces create a problem we term \emph{subspace fragmentation}: local projections interact with data heterogeneity to bias aggregated directions, while aggregation can increase update rank and communication cost. Thus, accurate local gradient compression need not preserve global descent. We propose \texttt{FedLore}, which shares a low-rank optimization basis within each round and refreshes it across rounds. The shared basis enables exact aggregation in low-rank coordinates and eliminates the identified projection bias. Subspace refresh allows the accumulated model update to exceed the per-round rank budget. We characterize the aggregation bias and establish an $O(T^{-1/2})$ stationarity bound for the projected-SGD variant under a global-gradient coverage condition and standard smoothness and variance assumptions, with bounded gradient heterogeneity. Experiments on vision and language tasks, including federated pre-training, show that \texttt{FedLore} outperforms the evaluated low-rank adapter baselines and matches or exceeds full-parameter training, while reducing communication and optimizer-state memory.