Federated Progressive Self-Distillation with Logits Calibration for Personalized IIoT Edge Intelligence

📄 arXiv: 2412.00410v1 📥 PDF

作者: Yingchao Wang, Wenqi Niu

分类: cs.AI

发布日期: 2024-11-30

备注: 11 pages,5 figures

💡 一句话要点

提出基于Logits校准和渐进自蒸馏的联邦学习方法FedPSD，用于个性化IIoT边缘智能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 个性化联邦学习 联邦学习 自蒸馏 Logits校准 工业物联网 边缘智能

📋 核心要点

  1. 现有个性化联邦学习方法忽略了客户端在本地训练中对历史个性化知识和全局泛化知识的遗忘问题。
  2. FedPSD方法通过Logits校准和渐进自蒸馏，在本地训练中逐步继承全局知识，并快速回忆个性化知识。
  3. 实验结果表明，FedPSD在各种数据异构场景下均表现出优越的性能，验证了其有效性。

📝 摘要（中文）

本文提出了一种新的个性化联邦学习（PFL）方法，即基于Logits校准和渐进自蒸馏的联邦渐进自蒸馏（FedPSD），旨在解决联邦学习中数据异构性和用户需求多样化的问题。现有研究忽略了客户端本地训练期间历史个性化知识和全局泛化知识的遗忘问题。通过分析客户端数据分布特征对个性化和全局知识遗忘的影响机制，本文提出了一种用于本地训练损失的Logits校准方法，并设计了一种渐进自蒸馏策略，以促进全局知识的逐步继承，其中前一个epoch的模型输出作为虚拟教师来指导后续epoch的训练。此外，为了解决个性化知识遗忘问题，本文通过整合历史个性化模型输出来构建校准的融合标签，然后将其用作教师模型输出，以指导本地自蒸馏的初始epoch，从而快速回忆个性化知识。在各种数据异构场景下进行的大量实验证明了所提出的FedPSD方法的有效性和优越性。

🔬 方法详解

问题定义：个性化联邦学习旨在为联邦学习中的每个客户端定制模型，以应对数据异构性和用户需求多样化。然而，现有方法在客户端本地训练时，容易遗忘历史个性化知识和全局泛化知识，导致模型性能下降。

核心思路：本文的核心思路是通过Logits校准和渐进自蒸馏，在本地训练过程中同时保留和利用全局知识和个性化知识。Logits校准用于修正本地训练损失，减少全局知识的遗忘；渐进自蒸馏则利用前一轮的模型输出作为教师信号，引导当前轮的训练，从而逐步继承全局知识。同时，利用历史个性化模型输出构建融合标签，指导初始训练，快速恢复个性化知识。

技术框架：FedPSD的整体框架包括以下几个主要阶段：1）服务器端模型初始化和分发；2）客户端本地训练，包括Logits校准、渐进自蒸馏和个性化知识回忆；3）客户端模型上传至服务器；4）服务器端模型聚合。其中，客户端本地训练是核心，包含了全局知识继承和个性化知识回忆两个关键模块。

关键创新：FedPSD的关键创新在于：1）提出了Logits校准方法，用于修正本地训练损失，减少全局知识的遗忘；2）设计了渐进自蒸馏策略，利用前一轮模型输出作为教师信号，引导当前轮训练，逐步继承全局知识；3）构建了校准的融合标签，用于快速回忆个性化知识。与现有方法相比，FedPSD能够更有效地平衡全局知识和个性化知识，从而提高模型性能。

关键设计：在Logits校准方面，具体做法是对本地训练损失函数进行修正，使其更加关注全局知识。在渐进自蒸馏方面，采用前一轮的模型输出作为教师信号，通过最小化当前模型输出与教师信号之间的差异，来逐步继承全局知识。在个性化知识回忆方面，通过整合历史个性化模型输出，构建校准的融合标签，并将其作为初始训练的教师信号，从而快速恢复个性化知识。具体的损失函数设计和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在各种数据异构场景下，FedPSD方法均优于现有的个性化联邦学习方法。具体的性能提升数据未知，但论文强调了FedPSD在平衡全局知识和个性化知识方面的优势，从而提高了模型性能。

🎯 应用场景

FedPSD方法适用于工业物联网（IIoT）边缘智能场景，例如智能制造、智能交通、智能农业等。通过为每个边缘设备定制个性化模型，可以提高设备性能、降低通信成本、保护用户隐私。该研究成果有助于推动联邦学习在实际工业场景中的应用。

📄 摘要（原文）

Personalized Federated Learning (PFL) focuses on tailoring models to individual IIoT clients in federated learning by addressing data heterogeneity and diverse user needs. Although existing studies have proposed effective PFL solutions from various perspectives, they overlook the issue of forgetting both historical personalized knowledge and global generalized knowledge during local training on clients. Therefore, this study proposes a novel PFL method, Federated Progressive Self-Distillation (FedPSD), based on logits calibration and progressive self-distillation. We analyze the impact mechanism of client data distribution characteristics on personalized and global knowledge forgetting. To address the issue of global knowledge forgetting, we propose a logits calibration approach for the local training loss and design a progressive self-distillation strategy to facilitate the gradual inheritance of global knowledge, where the model outputs from the previous epoch serve as virtual teachers to guide the training of subsequent epochs. Moreover, to address personalized knowledge forgetting, we construct calibrated fusion labels by integrating historical personalized model outputs, which are then used as teacher model outputs to guide the initial epoch of local self-distillation, enabling rapid recall of personalized knowledge. Extensive experiments under various data heterogeneity scenarios demonstrate the effectiveness and superiority of the proposed FedPSD method.