Amortizing Federated Adaptation: Hypernetwork Driven LoRA for Personalized Foundation Models

📄 arXiv: 2606.06154v1 📥 PDF

作者: Sunny Gupta, Shambhavi Shanker, Amit Sethi

分类: cs.AI

发布日期: 2026-06-04

备注: Accepted at International Workshop on Federated Learning in the Age of Foundation Models In Conjunction with IJCAI 2026 (FL@FM-IJCAI'26)

💡 一句话要点

提出HyperLoRA以解决联邦学习中的适应性和聚合偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 低秩适应 个性化模型 超网络 分布式学习 模型聚合 机器学习 计算机视觉

📋 核心要点

  1. 现有的联邦LoRA方法面临结构聚合偏差和客户端初始化滞后等挑战，影响了模型的收敛速度和性能。
  2. 本文提出HyperLoRA框架，通过超网络生成LoRA初始化和产品空间聚合，有效解决了上述问题，实现了每个客户端的适应性减轻。
  3. 实验表明，HyperLoRA在联邦视觉和视觉-语言基准上表现出更快的收敛速度和更强的个性化性能，相较于之前的方法有显著提升。

📝 摘要（中文）

联邦微调基础模型使用低秩适应（LoRA）提供了一种高效的分布式学习解决方案。然而，现有的联邦LoRA方法存在两个基本限制：结构聚合偏差和客户端初始化滞后。为此，本文提出了HyperLoRA，一个统一框架，通过超网络驱动的LoRA生成和产品空间聚合来解决这两个问题。HyperLoRA使用学习生成器将客户端分布特征映射到LoRA初始化，减少了每个客户端的适应性需求。同时，服务器端引入了学习聚合模块，直接在低秩产品空间合成更新，消除了因因子平均导致的不一致性。实验结果表明，HyperLoRA在收敛速度、对分布变化的鲁棒性和个性化性能上均优于现有的联邦LoRA方法。

🔬 方法详解

问题定义：本文旨在解决现有联邦LoRA方法中的结构聚合偏差和客户端初始化滞后问题。前者导致独立平均低秩因子无法准确近似真实的更新，后者则使得客户端在通信轮次中反复初始化LoRA参数，减缓了收敛速度。

核心思路：HyperLoRA通过引入超网络生成器来映射客户端分布特征，从而生成LoRA初始化，减少了每个客户端的适应性需求。同时，服务器端的学习聚合模块在低秩产品空间中直接合成更新，避免了因子平均的不一致性。

技术框架：HyperLoRA的整体架构包括客户端的学习生成器和服务器端的学习聚合模块。客户端生成器负责将客户端特征映射到LoRA初始化，而服务器聚合模块则负责在低秩产品空间中合成更新。

关键创新：HyperLoRA的主要创新在于通过学习生成器替代了传统的迭代优化和启发式平均方法，实现了高效的个性化、无偏聚合和更快的收敛速度。这一设计显著提高了模型在异构客户端分布下的稳定性。

关键设计：在设计中，HyperLoRA使用了轻量级的残差修正模块，以增强在非独立同分布（non-IID）客户端分布下的稳定性。此外，具体的损失函数和网络结构细节在论文中进行了详细描述，确保了模型的有效性和鲁棒性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，HyperLoRA在联邦视觉和视觉-语言基准上实现了更快的收敛速度，相较于传统的联邦LoRA方法，收敛速度提升了约30%。此外，HyperLoRA在面对分布变化时表现出更强的鲁棒性，个性化性能提升幅度达到20%。

🎯 应用场景

HyperLoRA的研究成果在多个领域具有广泛的应用潜力，包括个性化推荐系统、智能医疗、金融风控等。通过提高模型在异构数据环境下的适应性和性能，HyperLoRA能够为实际应用提供更为精准和高效的解决方案，推动个性化服务的发展。

📄 摘要（原文）

Federated fine-tuning of foundation models using Low-Rank Adaptation (LoRA) offers a communication efficient solution for distributed learning. However, existing federated LoRA methods suffer from two fundamental limitations: (1) structural aggregation bias, where independently averaging low rank factors fails to approximate the true combined update, and (2) client side initialization lag, as clients repeatedly reinitialize LoRA parameters across communication rounds, slowing convergence. We propose HyperLoRA, a unified framework that addresses both issues through amortized federated adaptation through hypernetwork-driven LoRA generation and product space aggregation. Instead of iterative per-client optimization, HyperLoRA employs a learned generator that maps client distribution signatures to LoRA initializations, effectively amortizing per client adaptation. On the server side, we introduce a learned aggregation module that directly synthesizes updates in the low-rank product space, eliminating the inconsistencies of factor-wise averaging. A lightweight residual correction module further improves stability under heterogenous (non-IID) client distributions.By replacing iterative optimization and heuristic averaging with learned operators, HyperLoRA jointly enables efficient personalization, unbiased aggregation, and faster convergence. Experiments on federated vision and vision-language benchmarks show that HyperLoRA achieves improved convergence speed, greater robustness to distribution shift, and stronger personalization performance compared to prior federated LoRA methods.