APFL: Analytic Personalized Federated Learning via Dual-Stream Least Squares

📄 arXiv: 2508.10732v1 📥 PDF

作者: Kejia Fan, Jianheng Tang, Zhirui Yang, Feijiang Han, Jiaxu Li, Run He, Yajiang Huang, Anfeng Liu, Houbing Herbert Song, Yunhuai Liu, Huiping Zhuang

分类: cs.LG, cs.AI

发布日期: 2025-08-14

备注: 9 pages, 4 figures, 2 tables

💡 一句话要点

提出APFL：通过双流最小二乘实现的解析个性化联邦学习，解决非独立同分布数据下的个性化建模问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化联邦学习 非独立同分布数据 双流结构 最小二乘法 异质不变性

📋 核心要点

  1. 现有个性化联邦学习方法在非独立同分布数据下表现不佳，影响了模型的泛化能力和个性化效果。
  2. APFL采用双流最小二乘法，利用共享主流进行全局泛化，专用细化流进行局部个性化，实现异质不变性。
  3. 实验结果表明，APFL在多个数据集上优于现有方法，准确率提升至少1.10%-15.45%。

📝 摘要（中文）

个性化联邦学习(PFL)面临着通过协同训练为每个客户端提供个性化模型的重大挑战。现有的PFL方法通常容易受到非独立同分布(non-IID)数据的影响，这严重阻碍了集体泛化，进而损害了后续的个性化工作。为了解决PFL中的非独立同分布问题，本文提出了一种通过双流最小二乘实现的解析个性化联邦学习(APFL)方法。在APFL中，我们使用一个基础模型作为冻结的骨干网络进行特征提取。在特征提取器之后，我们开发了双流解析模型，以实现集体泛化和个体个性化。具体来说，APFL包含一个共享的主流，用于所有客户端的全局泛化，以及一个专用的细化流，用于每个客户端的局部个性化。APFL的解析解使其具有理想的异质不变性，理论上意味着每个个性化模型保持相同，而不管数据在所有其他客户端上的分布有多么异质。在各种数据集上的实验结果也验证了APFL相对于最先进基线的优越性，在准确率方面至少有1.10%-15.45%的优势。

🔬 方法详解

问题定义：个性化联邦学习旨在为每个客户端训练个性化的模型，但现有方法在非独立同分布（non-IID）数据下性能显著下降。客户端数据的异质性导致全局模型难以有效泛化，进而影响个性化模型的训练效果。现有的PFL方法难以在保证全局泛化的同时，实现有效的个体个性化建模。

核心思路：APFL的核心思路是利用双流结构，将全局泛化和局部个性化解耦。通过共享的主流（primary stream）学习全局共享的知识，提升模型的泛化能力；通过专用的细化流（refinement stream）学习每个客户端的特定知识，实现个性化建模。采用解析解（最小二乘法）保证了异质不变性，即每个客户端的模型不受其他客户端数据分布的影响。

技术框架：APFL的整体框架包含三个主要模块：1) 冻结的特征提取器：使用预训练的基础模型（foundation model）提取输入数据的特征。2) 共享主流：利用最小二乘法学习全局共享的权重，实现全局泛化。3) 专用细化流：每个客户端拥有独立的细化流，利用最小二乘法学习个性化权重，实现局部个性化。训练过程中，首先利用共享主流学习全局知识，然后每个客户端利用专用细化流进行个性化调整。

关键创新：APFL的关键创新在于其双流结构和解析解。双流结构实现了全局泛化和局部个性化的解耦，使得模型能够同时学习全局共享的知识和个体特定的知识。解析解（最小二乘法）保证了异质不变性，使得每个客户端的模型不受其他客户端数据分布的影响，从而提高了模型的鲁棒性和泛化能力。

关键设计：APFL的关键设计包括：1) 使用预训练模型作为特征提取器，可以有效利用已有的知识，提高模型的性能。2) 采用最小二乘法求解共享主流和专用细化流的权重，计算效率高，且具有理论上的异质不变性。3) 损失函数主要考虑模型的预测误差，通过最小化预测误差来优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，APFL在多个数据集上优于现有的个性化联邦学习方法。例如，在某个数据集上，APFL的准确率比最先进的基线方法提高了1.10%-15.45%。这些结果验证了APFL在非独立同分布数据下的优越性，证明了其双流结构和解析解的有效性。

🎯 应用场景

APFL可应用于各种需要个性化建模的联邦学习场景，例如：个性化推荐系统、医疗诊断、金融风控等。在这些场景中，用户数据通常具有非独立同分布的特点，APFL能够有效解决数据异质性带来的挑战，为每个用户提供更加精准和个性化的服务。该研究的成果有助于推动联邦学习在实际应用中的落地。

📄 摘要（原文）

Personalized Federated Learning (PFL) has presented a significant challenge to deliver personalized models to individual clients through collaborative training. Existing PFL methods are often vulnerable to non-IID data, which severely hinders collective generalization and then compromises the subsequent personalization efforts. In this paper, to address this non-IID issue in PFL, we propose an Analytic Personalized Federated Learning (APFL) approach via dual-stream least squares. In our APFL, we use a foundation model as a frozen backbone for feature extraction. Subsequent to the feature extractor, we develop dual-stream analytic models to achieve both collective generalization and individual personalization. Specifically, our APFL incorporates a shared primary stream for global generalization across all clients, and a dedicated refinement stream for local personalization of each individual client. The analytical solutions of our APFL enable its ideal property of heterogeneity invariance, theoretically meaning that each personalized model remains identical regardless of how heterogeneous the data are distributed across all other clients. Empirical results across various datasets also validate the superiority of our APFL over state-of-the-art baselines, with advantages of at least 1.10%-15.45% in accuracy.