Masked Autoencoders are Parameter-Efficient Federated Continual Learners

📄 arXiv: 2411.01916v3 📥 PDF

作者: Yuchen He, Xiangfeng Wang

分类: cs.CV

发布日期: 2024-11-04 (更新: 2024-11-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出pMAE：一种参数高效的联邦持续学习方法，解决灾难性遗忘和非独立同分布问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 持续学习 掩码自编码器 参数高效 灾难性遗忘

📋 核心要点

  1. 联邦持续学习面临灾难性遗忘和非独立同分布数据的挑战，现有方法难以兼顾效率和性能。
  2. pMAE利用掩码自编码器在客户端学习重建提示，并在服务器端重建信息以缓解灾难性遗忘。
  3. 实验表明，pMAE性能与现有方法相当，并能提升其效果，尤其在使用自监督预训练Transformer时。

📝 摘要（中文）

联邦学习是一种特殊的分布式学习范式，其中中央服务器聚合来自多个客户端本地模型的更新，从而使服务器能够在不需要客户端上传其私有数据的情况下进行学习，从而维护数据隐私。现有的联邦学习方法主要为静态数据设计，但实际应用通常需要客户端随时间学习新的类别。这一挑战需要集成持续学习技术，从而产生联邦持续学习（FCL）。为了解决灾难性遗忘和非独立同分布（non-IID）问题，我们提出使用掩码自编码器（MAE）作为参数高效的联邦持续学习器，称为pMAE。pMAE通过使用MAE进行图像重建，在客户端学习重建提示。在服务器端，它重建上传的恢复信息，以捕获先前任务和不同客户端的数据分布，使用这些重建的图像来微调专为分类定制的判别提示和分类器参数，从而在全球范围内缓解灾难性遗忘和非独立同分布问题。实验结果表明，pMAE实现了与现有基于提示的方法相当的性能，并且可以提高它们的有效性，尤其是在使用自监督预训练Transformer作为骨干网络时。

🔬 方法详解

问题定义：联邦持续学习（FCL）旨在解决联邦学习环境中，客户端需要持续学习新类别时出现的灾难性遗忘问题。现有的联邦学习方法主要针对静态数据，无法有效应对客户端数据非独立同分布（non-IID）以及模型在学习新任务时遗忘旧任务知识的问题。这些问题限制了联邦学习在实际应用中的扩展性。

核心思路：pMAE的核心思路是利用掩码自编码器（MAE）的图像重建能力，在客户端学习重建提示（reconstructive prompt），并在服务器端重建客户端上传的信息。通过这种方式，pMAE能够捕获不同客户端和不同任务的数据分布，从而缓解灾难性遗忘和非独立同分布问题。使用参数高效的prompt方法，降低了通信开销。

技术框架：pMAE的整体框架包含客户端和服务端两部分。客户端使用MAE进行图像重建，学习重建提示，并将重建信息上传到服务器。服务器端接收到客户端上传的信息后，重建图像，并使用重建的图像微调判别提示（discriminative prompt）和分类器参数。这个过程旨在捕获全局数据分布，并提升模型在所有任务上的性能。

关键创新：pMAE的关键创新在于将掩码自编码器（MAE）引入联邦持续学习，并利用其图像重建能力学习重建提示。这种方法能够有效地捕获数据分布，缓解灾难性遗忘和非独立同分布问题。此外，pMAE采用参数高效的prompt方法，降低了通信开销，更适合联邦学习场景。

关键设计：pMAE的关键设计包括：1) 使用MAE作为客户端模型，学习重建提示；2) 在服务器端重建客户端上传的信息，并使用重建的图像微调判别提示和分类器参数；3) 使用自监督预训练Transformer作为骨干网络，以提升模型性能。具体的损失函数和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，pMAE在联邦持续学习任务上取得了与现有基于提示的方法相当的性能，并且能够提升它们的有效性，尤其是在使用自监督预训练Transformer作为骨干网络时。具体的性能提升幅度在论文中进行了详细描述（未知）。

🎯 应用场景

pMAE适用于需要持续学习新类别的联邦学习场景，例如医疗影像分析、金融欺诈检测等。在这些场景中，数据分布可能随时间变化，且数据隐私至关重要。pMAE能够有效应对这些挑战，提升联邦学习的性能和实用性，促进其在更多领域的应用。

📄 摘要（原文）

Federated learning is a specific distributed learning paradigm in which a central server aggregates updates from multiple clients' local models, thereby enabling the server to learn without requiring clients to upload their private data, maintaining data privacy. While existing federated learning methods are primarily designed for static data, real-world applications often require clients to learn new categories over time. This challenge necessitates the integration of continual learning techniques, leading to federated continual learning (FCL). To address both catastrophic forgetting and non-IID issues, we propose to use masked autoencoders (MAEs) as parameter-efficient federated continual learners, called pMAE. pMAE learns reconstructive prompt on the client side through image reconstruction using MAE. On the server side, it reconstructs the uploaded restore information to capture the data distribution across previous tasks and different clients, using these reconstructed images to fine-tune discriminative prompt and classifier parameters tailored for classification, thereby alleviating catastrophic forgetting and non-IID issues on a global scale. Experimental results demonstrate that pMAE achieves performance comparable to existing prompt-based methods and can enhance their effectiveness, particularly when using self-supervised pre-trained transformers as the backbone. Code is available at: https://github.com/ycheoo/pMAE.