FedMTFI: Feature Importance Based Optimized Multi Teacher Knowledge Distillation in Heterogeneous Federated Learning Environment

📄 arXiv: 2606.01607v1 📥 PDF

作者: Nazmus Shakib Shadin, Aaron Cummings, Xinyue Zhang, Bobin Deng

分类: cs.LG, cs.AI

发布日期: 2026-06-01

备注: Accepted by IJCNN 2026

💡 一句话要点

FedMTFI：异构联邦学习中基于特征重要性的优化多教师知识蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 知识蒸馏 多教师学习 特征重要性 异构环境

📋 核心要点

  1. 现有联邦学习方法在异构环境下性能受限，设备算力差异和数据非独立同分布是主要挑战。
  2. FedMTFI通过客户端聚类、多教师知识蒸馏和特征重要性分析，提升异构环境下的联邦学习性能。
  3. 实验表明，FedMTFI在非独立同分布数据上优于传统联邦学习算法，提高了模型准确性。

📝 摘要（中文）

联邦学习(FL)是一种去中心化的方法，它能够在不暴露原始数据的情况下进行协作模型训练。它允许设备仅共享模型权重，从而保证个人数据在本地的安全，而不是传输敏感数据。然而，在实际环境中，设备持有的数据通常分布不均匀，并且设备在计算能力和内存容量上大多不同。这些差异使得FL难以在整个系统中保持一致的性能。为了解决这些问题，我们提出FedMTFI，一种新颖的架构，它结合了多教师知识蒸馏(MTKD)和特征重要性，以改善异构环境中的FL过程。在FedMTFI中，客户端根据相似的硬件和模型类型进行聚类。每个集群在非独立同分布(non-IID)数据上训练一个特定的模型。在一个集群中，每个客户端仅使用其自己的本地私有数据来更新该模型。然后，服务器使用FedAvg聚合每个集群中本地训练的模型，以形成多个原型模型。然后，这些原型模型充当教师模型，以使用MTKD训练全局泛化学生模型。FedMTFI更独特之处在于集成了Shapley值(SHAP)来强调蒸馏过程中的重要特征，从而提高准确性和可解释性。实验结果表明，FedMTFI比传统的FL算法具有更高的准确性，并且在非IID数据条件下表现更有效。

🔬 方法详解

问题定义：论文旨在解决异构联邦学习环境中，由于客户端设备算力差异大、数据分布非独立同分布(non-IID)导致的全局模型性能下降问题。现有方法难以有效利用异构客户端的知识，并且容易受到恶意客户端的影响。

核心思路：论文的核心思路是利用多教师知识蒸馏(MTKD)和特征重要性分析来提升全局模型的泛化能力和鲁棒性。通过将客户端聚类，为每个集群训练一个原型模型作为教师，然后利用这些教师模型指导全局学生模型的训练，从而更好地融合异构客户端的知识。同时，利用SHAP值来突出重要特征，提高模型的可解释性和准确性。

技术框架：FedMTFI的整体框架包括以下几个阶段： 1. 客户端聚类：根据客户端的硬件和模型类型进行聚类。 2. 本地模型训练：每个集群内的客户端使用本地数据训练特定模型。 3. 原型模型聚合：服务器使用FedAvg算法聚合每个集群的本地模型，形成多个原型模型（教师模型）。 4. 全局模型蒸馏：使用多教师知识蒸馏，利用原型模型指导全局学生模型的训练。 5. 特征重要性加权：使用SHAP值对特征进行加权，在蒸馏过程中强调重要特征。

关键创新：FedMTFI的关键创新在于： 1. 多教师知识蒸馏：利用多个原型模型作为教师，可以更全面地融合异构客户端的知识，提高全局模型的泛化能力。 2. 特征重要性加权：通过SHAP值来突出重要特征，可以提高模型的准确性和可解释性，并且可以减少噪声特征的影响。 3. 客户端聚类：根据客户端的硬件和模型类型进行聚类，可以更好地利用异构客户端的资源，提高训练效率。

关键设计： 1. SHAP值计算：使用SHAP值来评估每个特征对模型输出的贡献，并根据SHAP值对特征进行加权。 2. 知识蒸馏损失函数：使用KL散度作为知识蒸馏的损失函数，衡量学生模型和教师模型输出分布的差异。 3. 客户端聚类算法：可以使用K-means等聚类算法，根据客户端的硬件和模型类型进行聚类。 4. FedAvg聚合：使用FedAvg算法聚合每个集群的本地模型，形成原型模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedMTFI在非独立同分布数据条件下，相比于传统的联邦学习算法，例如FedAvg，具有更高的准确性。具体的性能提升幅度未知，但摘要中明确指出FedMTFI“achieves higher accuracy than traditional FL algorithms and performs more effectively under non-IID data conditions”。

🎯 应用场景

FedMTFI适用于各种需要保护用户隐私的联邦学习场景，例如医疗健康、金融风控、智能交通等。在这些场景中，数据分布通常是非独立同分布的，并且设备算力差异很大。FedMTFI可以有效提高这些场景下的模型性能，并保证用户数据的安全性。该研究的未来影响在于推动联邦学习在实际应用中的落地，并促进人工智能技术的发展。

📄 摘要（原文）

Federated learning (FL) is a decentralized approach that enables collaborative model training without exposing raw data. Instead of transferring sensitive data, it allows devices to share only model weights, keeping personal data locally and secure. However, in real world settings, the data held by devices is often not evenly distributed and devices mostly differ in computing power and memory capacity. These differences make FL harder to maintain consistent performance across the system. To address these issues, we propose FedMTFI, a novel architecture that combines multi-teacher knowledge distillation (MTKD) with feature importance to improve the FL process in heterogeneous environments. In FedMTFI, clients are clustered based on similar hardware and model types. Each cluster trains a specific model on not independently and identically distributed (non-IID) data. Within a cluster, every client updates that model using only its own local private data. The server then aggregates the locally trained models in each cluster using FedAvg to form multiple prototype models. Then these prototypes serve as teacher models to train a global generalized student model using MTKD. What makes FedMTFI more unique is the integration of Shapley values (SHAP) to emphasize important features during distillation, which enhances both accuracy and interpretability. Experimental results show that FedMTFI achieves higher accuracy than traditional FL algorithms and performs more effectively under non-IID data conditions.