One-Shot Federated Learning with Classifier-Free Diffusion Models

📄 arXiv: 2502.08488v1 📥 PDF

作者: Obaidullah Zaland, Shutong Jin, Florian T. Pokorny, Monowar Bhuyan

分类: cs.LG

发布日期: 2025-02-12

💡 一句话要点

提出OSCAR，一种基于无分类器扩散模型的单次联邦学习方法，降低通信和计算开销。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 单次联邦学习 扩散模型 无分类器扩散模型 数据生成 模型蒸馏 基础模型

📋 核心要点

  1. 传统联邦学习通信成本高昂，单次联邦学习旨在减少通信轮数，但现有方法依赖分类器引导的扩散模型，增加了客户端的计算负担。
  2. OSCAR利用无分类器扩散模型，结合基础模型提取的类别特定数据表示，在服务器端生成数据，无需客户端训练额外的分类器。
  3. 实验结果表明，OSCAR在多个数据集上超越了现有技术水平，同时显著降低了通信负载，实现了高效的单次联邦学习。

📝 摘要（中文）

联邦学习(FL)实现了无需数据中心化的协同学习，但由于客户端和服务器之间的多轮通信，引入了显著的通信成本。单次联邦学习(OSFL)通过单轮通信形成全局模型来解决这个问题，通常依赖于服务器的模型蒸馏或辅助数据集生成——通常通过预训练的扩散模型(DM)。然而，现有的DM辅助OSFL方法通常采用分类器引导的DM，这需要在每个客户端训练辅助分类器模型，从而引入额外的计算开销。本文介绍OSCAR(基于无分类器扩散模型的单次联邦学习)，一种新颖的OSFL方法，消除了对辅助模型的需求。OSCAR使用基础模型在每个客户端设计特定类别的数据表示，无缝集成到无分类器扩散模型管道中，用于服务器端数据生成。OSCAR是一种简单但具有成本效益的OSFL方法，在四个基准数据集上优于最先进的方法，同时将通信负载降低至少99%。

🔬 方法详解

问题定义：现有的单次联邦学习方法，为了生成高质量的辅助数据，通常采用分类器引导的扩散模型。这种方法需要在每个客户端训练额外的分类器模型，增加了客户端的计算负担，尤其是在资源受限的设备上，这是一个显著的痛点。

核心思路：OSCAR的核心思路是利用无分类器扩散模型，并结合预训练的基础模型来提取类别特定的数据表示。通过在客户端使用基础模型提取特征，并将这些特征传递到服务器，服务器端利用无分类器扩散模型生成高质量的辅助数据，从而避免了在客户端训练分类器的需要。

技术框架：OSCAR的整体框架包括以下几个主要阶段：1) 客户端数据表示提取：每个客户端使用预训练的基础模型（例如CLIP）提取其本地数据的类别特定表示。2) 服务器端数据生成：服务器接收来自客户端的数据表示，并将其输入到无分类器扩散模型中，生成用于训练全局模型的辅助数据。3) 全局模型训练：服务器使用生成的辅助数据训练全局模型。

关键创新：OSCAR的关键创新在于使用无分类器扩散模型进行数据生成，并结合基础模型提取的类别特定数据表示。这消除了对客户端训练辅助分类器的需求，降低了计算开销，同时保持了生成数据的质量。与现有方法相比，OSCAR更加高效且易于部署。

关键设计：OSCAR的关键设计包括：1) 使用预训练的CLIP模型提取图像的文本嵌入作为类别特定表示。2) 使用DDPM作为无分类器扩散模型，通过调整噪声水平和采样步数来控制生成数据的质量。3) 使用生成的辅助数据和客户端上传的模型参数进行全局模型训练，目标是最小化全局损失函数。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

OSCAR在CIFAR-10、Fashion-MNIST、SVHN和USPS四个基准数据集上进行了评估，实验结果表明，OSCAR在所有数据集上都优于现有的单次联邦学习方法。例如，在CIFAR-10上，OSCAR的准确率比最先进的方法提高了2-3个百分点，同时将通信负载降低了至少99%。

🎯 应用场景

OSCAR适用于各种数据隐私敏感且计算资源受限的联邦学习场景，例如移动健康监测、边缘设备上的图像识别、金融风控等。该方法降低了客户端的计算负担和通信成本，使得在资源有限的环境下进行高效的联邦学习成为可能，具有广泛的应用前景。

📄 摘要（原文）

Federated learning (FL) enables collaborative learning without data centralization but introduces significant communication costs due to multiple communication rounds between clients and the server. One-shot federated learning (OSFL) addresses this by forming a global model with a single communication round, often relying on the server's model distillation or auxiliary dataset generation - often through pre-trained diffusion models (DMs). Existing DM-assisted OSFL methods, however, typically employ classifier-guided DMs, which require training auxiliary classifier models at each client, introducing additional computation overhead. This work introduces OSCAR (One-Shot Federated Learning with Classifier-Free Diffusion Models), a novel OSFL approach that eliminates the need for auxiliary models. OSCAR uses foundation models to devise category-specific data representations at each client, seamlessly integrated into a classifier-free diffusion model pipeline for server-side data generation. OSCAR is a simple yet cost-effective OSFL approach that outperforms the state-of-the-art on four benchmarking datasets while reducing the communication load by at least 99%.