Personalized Federated Learning through Global Knowledge Distillation and Local Head Adaptation

📄 arXiv: 2609.17284v1 📥 PDF

作者: Polycarpo Souza Neto, José Mairton Barros da Silva Júnior, Charles Casimiro Cavalcante

分类: cs.LG, stat.ML, stat.OT

发布日期: 2026-09-15

💡 一句话要点

提出个性化联邦学习方法解决统计异质性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 个性化学习 联邦学习 知识蒸馏 统计异质性 深度学习

📋 核心要点

  1. 现有的联邦学习方法在面对统计异质性时，无法有效处理客户端特定的标签分布，导致性能下降。
  2. 本文提出的pFedKDH方法通过聚合共享主干网络和保持客户端特定头部，利用全局头部进行知识蒸馏，从而实现个性化学习。
  3. 在多个数据集上，pFedKDH在准确率上超越了大多数基线，显示出在标签偏斜情况下的优越性和稳定性。

📝 摘要（中文）

统计异质性限制了联邦学习的有效性，因为单一的全局分类器无法代表客户端特定的标签分布。本文提出了个性化联邦知识蒸馏与头部适应（pFedKDH），该方法仅聚合共享的主干网络，保持持久的客户端特定头部，并在本地训练中使用重新校准的全局头部作为教师。在MNIST、Fashion-MNIST、CIFAR10和CIFAR100等数据集上，pFedKDH在大多数设置中获得了最佳准确率，相较于最弱基线的准确率差距高达37.67%，并且在多次实验中标准差始终较低。组件诊断和收敛结果支持了持久头部和蒸馏引导的本地优化在标签偏斜数据下的作用。

🔬 方法详解

问题定义：本文旨在解决联邦学习中由于统计异质性导致的性能下降问题。现有方法通常依赖于单一的全局分类器，无法适应客户端特定的标签分布，造成准确率低下。

核心思路：pFedKDH方法的核心在于通过保持客户端特定的头部网络，并在本地训练中使用重新校准的全局头部作为教师，来实现个性化的知识蒸馏。这种设计使得每个客户端能够更好地适应其特定的数据分布。

技术框架：该方法的整体架构包括三个主要模块：共享的主干网络、持久的客户端特定头部和全局头部教师。训练过程中，客户端通过本地数据进行优化，同时借助全局头部的知识进行指导。

关键创新：pFedKDH的创新之处在于引入了持久的客户端特定头部和蒸馏引导的本地优化策略。这与传统的联邦学习方法不同，后者通常只依赖于全局模型，无法充分利用客户端的个性化信息。

关键设计：在实现上，pFedKDH采用了特定的损失函数来平衡全局知识与本地适应的关系，同时在网络结构上保持了主干网络的一致性，确保了知识的有效传递。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在多个数据集上，pFedKDH方法的准确率在大多数设置中表现最佳，相较于最弱基线的准确率差距高达37.67%。此外，该方法在多次实验中展现出较低的标准差，表明其在不同实验条件下的稳定性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括医疗健康、金融服务和个性化推荐系统等。在这些领域中，数据通常分布在多个客户端，且存在显著的标签异质性。pFedKDH能够有效提升模型在不同客户端上的表现，从而实现更高的准确性和用户满意度，未来可能对个性化服务的推广产生积极影响。

📄 摘要（原文）

Statistical heterogeneity limits federated learning when a single global classifier cannot represent client-specific label distributions. In this work, we propose Personalized Federated Knowledge Distillation with Head Adaptation (pFedKDH), which aggregates only the shared backbone, keeps persistent client-specific heads, and uses a recalibrated global head as a teacher during local training. Across MNIST, Fashion-MNIST, CIFAR10, and CIFAR100 under class-wise Dirichlet partitions, pFedKDH obtains the best accuracy in most settings, with accuracy gaps up to 37.67\% over the weakest baseline and consistently low standard deviation across repetitions. Component-wise diagnostics and convergence results support the role of persistent heads and distillation-guided local optimization under label-skewed data.