Look Back for More: Harnessing Historical Sequential Updates for Personalized Federated Adapter Tuning
作者: Danni Peng, Yuan Wang, Huazhu Fu, Jinpeng Jiang, Yong Liu, Rick Siow Mong Goh, Qingsong Wei
分类: cs.LG, cs.DC
发布日期: 2025-01-03
备注: Accepted by AAAI 2025
💡 一句话要点
pFedSeq：利用历史序列更新，实现个性化联邦Adapter调优
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化联邦学习 联邦学习 Adapter调优 序列学习 状态空间模型
📋 核心要点
- 现有PFL方法仅依赖客户端最新模型更新，忽略历史信息，导致个性化模型学习效果受限。
- pFedSeq通过维护序列学习器，处理客户端历史Adapter更新序列，为个性化Adapter生成校准。
- pFedSeq采用选择性状态空间模型（SSM）捕获跨客户端和跨步骤关系，实验证明优于现有PFL方法。
📝 摘要（中文）
本文提出了一种名为pFedSeq的新框架，用于在联邦学习中个性化调整Adapter以微调基础模型。现有的个性化联邦学习（PFL）方法主要依赖于客户端最新的更新模型来生成个性化模型，忽略了客户端之前的更新，这可能导致次优的个性化模型学习。为了弥补这一差距，pFedSeq维护并训练一个序列学习器，该学习器处理来自客户端的一系列过去的Adapter更新，并生成个性化Adapter的校准。为了有效地捕获隐藏在先前更新中的跨客户端和跨步骤关系，并生成高性能的个性化Adapter，pFedSeq采用强大的选择性状态空间模型（SSM）作为序列学习器的架构。在四个公共基准数据集上的大量实验表明，pFedSeq优于最先进的PFL方法。
🔬 方法详解
问题定义：现有的个性化联邦学习方法在生成个性化模型时，主要依赖于客户端最近一次的模型更新，忽略了客户端历史更新信息。这种做法无法充分利用客户端的全部学习轨迹，可能导致个性化模型陷入局部最优，无法达到最佳性能。因此，如何有效利用客户端的历史更新信息，提升个性化联邦学习的效果，是一个亟待解决的问题。
核心思路：pFedSeq的核心思路是利用客户端的历史Adapter更新序列，通过序列学习器学习客户端之间的关联以及每个客户端自身的演化规律，从而更好地进行个性化Adapter的调整。通过分析历史更新，可以更全面地了解客户端的数据分布和学习过程，从而生成更具针对性的个性化模型。
技术框架：pFedSeq框架包含以下几个主要组成部分：1) 客户端：每个客户端在本地数据上训练Adapter，并将Adapter的更新发送到服务器。2) 服务器：服务器维护一个序列学习器，用于处理来自客户端的历史Adapter更新序列。3) 序列学习器：服务器使用序列学习器对客户端的历史更新进行建模，并生成个性化Adapter的校准信息。4) 个性化Adapter：客户端接收到服务器发送的校准信息后，对本地Adapter进行调整，得到个性化的Adapter。整体流程是，客户端训练Adapter并将更新发送到服务器，服务器利用序列学习器处理历史更新并生成校准信息，客户端利用校准信息调整Adapter。
关键创新：pFedSeq的关键创新在于引入了序列学习器来处理客户端的历史Adapter更新序列。与现有方法只关注最新更新不同，pFedSeq能够充分利用历史信息，学习客户端之间的关联和演化规律。此外，pFedSeq采用了选择性状态空间模型（SSM）作为序列学习器的架构，SSM具有强大的序列建模能力，能够有效地捕获跨客户端和跨步骤的关系。
关键设计：pFedSeq的关键设计包括：1) 序列学习器的架构：选择性状态空间模型（SSM）被用作序列学习器的架构，以有效地捕获历史更新中的复杂关系。2) 损失函数：序列学习器的训练目标是最小化个性化Adapter在客户端本地数据上的损失。3) Adapter的校准方式：服务器生成的校准信息用于调整客户端本地Adapter的参数，从而实现个性化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，pFedSeq在四个公共基准数据集上均优于最先进的PFL方法。例如，在某些数据集上，pFedSeq的性能提升幅度超过5%。这些结果验证了pFedSeq利用历史序列更新进行个性化Adapter调优的有效性，并表明SSM在序列建模方面的优势。
🎯 应用场景
pFedSeq可应用于各种数据异构的联邦学习场景，例如医疗健康、金融风控、智能推荐等。在这些场景中，不同用户或机构的数据分布可能存在显著差异，pFedSeq能够有效地利用历史信息，为每个用户或机构生成个性化的模型，从而提升整体性能和用户体验。该研究有助于推动联邦学习在实际应用中的落地，并为解决数据孤岛问题提供新的思路。
📄 摘要（原文）
Personalized federated learning (PFL) studies effective model personalization to address the data heterogeneity issue among clients in traditional federated learning (FL). Existing PFL approaches mainly generate personalized models by relying solely on the clients' latest updated models while ignoring their previous updates, which may result in suboptimal personalized model learning. To bridge this gap, we propose a novel framework termed pFedSeq, designed for personalizing adapters to fine-tune a foundation model in FL. In pFedSeq, the server maintains and trains a sequential learner, which processes a sequence of past adapter updates from clients and generates calibrations for personalized adapters. To effectively capture the cross-client and cross-step relations hidden in previous updates and generate high-performing personalized adapters, pFedSeq adopts the powerful selective state space model (SSM) as the architecture of sequential learner. Through extensive experiments on four public benchmark datasets, we demonstrate the superiority of pFedSeq over state-of-the-art PFL methods.