Heterogeneity-aware Personalized Federated Learning via Adaptive Dual-Agent Reinforcement Learning

📄 arXiv: 2501.16966v1 📥 PDF

作者: Xi Chen, Qin Li, Haibin Cai, Ting Wang

分类: cs.LG, cs.AI

发布日期: 2025-01-28

💡 一句话要点

提出HAPFL，通过自适应双智能体强化学习实现异构环境下个性化联邦学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 异构环境 强化学习 个性化模型 知识蒸馏

📋 核心要点

  1. 现有联邦学习方法难以有效应对物联网环境中客户端模型架构和计算能力的异构性，导致模型精度下降和严重的延迟问题。
  2. HAPFL通过双智能体强化学习，自适应地为客户端分配模型和调整训练强度，并结合知识蒸馏实现全局知识共享，提升个性化训练效果。
  3. 实验结果表明，HAPFL在保证高精度的同时，显著降低了训练时间和延迟，优于现有解决方案。

📝 摘要（中文）

本文提出了一种新颖的异构感知个性化联邦学习方法HAPFL，该方法通过多层强化学习（RL）机制优化训练过程。HAPFL包含三个关键策略：1) 基于RL的异构模型分配机制，利用PPO代理根据客户端性能自适应地分配不同大小的模型；2) 基于RL的训练强度调整方案，动态调整每个客户端的训练强度以提高效率并减少延迟；3) 基于知识蒸馏的互学习机制，客户端部署异构本地模型和同构轻量级模型LiteModel，通过知识蒸馏进行互学习，LiteModel用于聚合和共享全局知识，提升个性化本地训练效果。实验结果表明，HAPFL在多个基准数据集上实现了高精度，并显著减少了20.9%-40.4%的总体训练时间和19.0%-48.0%的延迟。

🔬 方法详解

问题定义：论文旨在解决联邦学习在异构物联网环境中面临的挑战，即客户端设备在模型架构和计算能力上的差异导致模型精度下降和训练效率降低，尤其是在训练过程中出现的“掉队者”（straggler）问题，严重影响整体训练速度。现有方法难以根据客户端的异构性进行有效调整，无法充分利用所有客户端的资源。

核心思路：论文的核心思路是利用强化学习来动态地适应客户端的异构性。通过两个PPO代理，分别负责模型分配和训练强度调整，使得服务器能够根据客户端的性能和能力，为其分配合适的模型大小和训练资源。同时，引入知识蒸馏机制，让每个客户端学习一个轻量级的全局模型，从而在个性化训练的同时，共享全局知识，提高模型的泛化能力。

技术框架：HAPFL的整体框架包含以下几个主要模块：1) 参数服务器：负责维护全局模型，并使用两个PPO代理进行模型分配和训练强度调整。2) 客户端：每个客户端拥有一个异构本地模型和一个同构轻量级模型（LiteModel）。3) 模型分配模块：服务器端的PPO代理根据客户端的性能（如训练损失、准确率等）为其分配合适的模型大小。4) 训练强度调整模块：服务器端的另一个PPO代理根据客户端的计算能力和训练进度，动态调整其训练强度（如训练轮数、学习率等）。5) 知识蒸馏模块：客户端的本地模型和LiteModel通过知识蒸馏进行互学习，LiteModel用于聚合和共享全局知识。

关键创新：HAPFL的关键创新在于：1) 提出了基于强化学习的异构模型分配机制，能够根据客户端的性能自适应地分配模型，有效缓解了异构性带来的性能差异。2) 提出了基于强化学习的训练强度调整方案，能够动态调整每个客户端的训练强度，提高了训练效率，减少了延迟。3) 引入了知识蒸馏机制，使得客户端能够在个性化训练的同时，共享全局知识，提高了模型的泛化能力。

关键设计：在模型分配模块中，PPO代理的奖励函数设计至关重要，需要综合考虑客户端的训练损失、准确率、计算资源消耗等因素。在训练强度调整模块中，PPO代理需要根据客户端的计算能力和训练进度，动态调整训练轮数和学习率。知识蒸馏模块中，需要选择合适的蒸馏损失函数，以保证LiteModel能够有效地学习到全局知识。LiteModel的网络结构需要足够轻量化，以保证训练效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HAPFL在多个基准数据集上取得了显著的性能提升。例如，在某些数据集上，HAPFL相比现有方法，总体训练时间减少了20.9%-40.4%，延迟降低了19.0%-48.0%。这些结果表明，HAPFL能够有效地应对异构环境下的联邦学习挑战，提高训练效率和模型精度。

🎯 应用场景

HAPFL适用于各种异构物联网环境，例如智能家居、智慧医疗、工业物联网等。在这些场景中，设备类型多样、计算能力差异大，HAPFL能够有效利用这些异构资源，提高模型训练效率和精度，为个性化服务提供更强大的支持。未来，该方法可以进一步扩展到更复杂的联邦学习场景，例如跨设备联邦学习、边缘计算等。

📄 摘要（原文）

Federated Learning (FL) empowers multiple clients to collaboratively train machine learning models without sharing local data, making it highly applicable in heterogeneous Internet of Things (IoT) environments. However, intrinsic heterogeneity in clients' model architectures and computing capabilities often results in model accuracy loss and the intractable straggler problem, which significantly impairs training effectiveness. To tackle these challenges, this paper proposes a novel Heterogeneity-aware Personalized Federated Learning method, named HAPFL, via multi-level Reinforcement Learning (RL) mechanisms. HAPFL optimizes the training process by incorporating three strategic components: 1) An RL-based heterogeneous model allocation mechanism. The parameter server employs a Proximal Policy Optimization (PPO)-based RL agent to adaptively allocate appropriately sized, differentiated models to clients based on their performance, effectively mitigating performance disparities. 2) An RL-based training intensity adjustment scheme. The parameter server leverages another PPO-based RL agent to dynamically fine-tune the training intensity for each client to further enhance training efficiency and reduce straggling latency. 3) A knowledge distillation-based mutual learning mechanism. Each client deploys both a heterogeneous local model and a homogeneous lightweight model named LiteModel, where these models undergo mutual learning through knowledge distillation. This uniform LiteModel plays a pivotal role in aggregating and sharing global knowledge, significantly enhancing the effectiveness of personalized local training. Experimental results across multiple benchmark datasets demonstrate that HAPFL not only achieves high accuracy but also substantially reduces the overall training time by 20.9%-40.4% and decreases straggling latency by 19.0%-48.0% compared to existing solutions.