FedKDX: Federated Learning with Negative Knowledge Distillation for Enhanced Healthcare AI Systems

📄 arXiv: 2601.04587v1 📥 PDF

作者: Quang-Tu Pham, Hoang-Dieu Vu, Dinh-Dat Pham, Hieu H. Pham

分类: cs.LG, cs.AI

发布日期: 2026-01-08

🔗 代码/项目: GITHUB

💡 一句话要点

FedKDX：基于负知识蒸馏的联邦学习框架，提升医疗AI系统性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 负知识蒸馏 知识蒸馏 医疗AI 数据异构性 对比学习 隐私保护

📋 核心要点

  1. 现有联邦学习方法在医疗AI中面临数据异构性和模型泛化性挑战，仅依赖正向知识迁移不足以充分利用分布式数据。
  2. FedKDX框架通过引入负知识蒸馏（NKD），同时学习目标和非目标信息，增强模型对不同数据分布的适应能力。
  3. 实验结果表明，FedKDX在多个医疗数据集上显著提升了模型准确率和收敛速度，尤其在非独立同分布数据上表现优异。

📝 摘要（中文）

本文提出了一种名为FedKDX的联邦学习框架，通过负知识蒸馏（NKD）解决医疗AI中的局限性。与仅关注正向知识迁移的现有方法不同，FedKDX同时捕获目标和非目标信息，从而提高医疗应用中模型的泛化能力。该框架在一个统一的架构中集成了多种知识迁移技术，包括传统知识蒸馏、对比学习和NKD，在保持隐私的同时降低了通信成本。在医疗数据集（SLEEP、UCI-HAR和PAMAP2）上的实验表明，FedKDX提高了准确性（比最先进的方法高出2.53%），加快了收敛速度，并在非独立同分布（non-IID）数据分布上表现更好。理论分析支持NKD对解决分布式医疗数据中统计异质性的贡献。该方法在HIPAA和GDPR等监管框架下的隐私敏感型医疗应用中显示出前景，为去中心化医疗环境中的性能和实际实施要求之间提供了平衡的解决方案。代码和模型可在https://github.com/phamdinhdat-ai/Fed_2024获取。

🔬 方法详解

问题定义：联邦学习在医疗领域面临数据异构性问题，即各个客户端的数据分布存在显著差异。传统的联邦学习方法主要关注从服务端到客户端的正向知识迁移，忽略了负样本信息，导致模型在局部数据集上的泛化能力受限。此外，医疗数据通常具有隐私敏感性，需要在保护隐私的前提下进行模型训练。

核心思路：FedKDX的核心思路是利用负知识蒸馏（NKD）来增强模型对异构数据的适应能力。通过让客户端模型学习服务端模型的“错误”预测，即负样本信息，可以有效提升模型在局部数据集上的泛化能力，从而提高整体性能。同时，结合传统的知识蒸馏和对比学习，进一步提升模型的鲁棒性和泛化性。

技术框架：FedKDX框架包含以下主要模块：1) 客户端训练：每个客户端使用本地数据进行模型训练，包括传统知识蒸馏、对比学习和负知识蒸馏。2) 服务端聚合：服务端收集客户端上传的模型参数或梯度，进行聚合更新，并将更新后的模型参数发送给客户端。3) 知识蒸馏：客户端模型学习服务端模型的预测结果，包括正向知识和负向知识。4) 对比学习：通过对比学习，增强模型对不同类别数据的区分能力。

关键创新：FedKDX的关键创新在于引入了负知识蒸馏（NKD）的概念，并将其与传统的知识蒸馏和对比学习相结合。与现有方法不同，FedKDX不仅关注正向知识的迁移，还关注负向知识的迁移，从而更全面地利用了服务端模型的知识，提升了客户端模型的泛化能力。

关键设计：在负知识蒸馏中，使用交叉熵损失函数来衡量客户端模型和服务端模型在负样本上的预测差异。具体来说，客户端模型的目标是最小化其在服务端模型预测为错误的样本上的损失。此外，在对比学习中，使用InfoNCE损失函数来最大化正样本之间的相似度，同时最小化负样本之间的相似度。框架使用常见的联邦平均算法进行模型聚合，并采用差分隐私技术来保护客户端数据的隐私。

📊 实验亮点

FedKDX在三个医疗数据集（SLEEP、UCI-HAR和PAMAP2）上进行了实验，结果表明，FedKDX在准确率方面优于现有的联邦学习方法，最高提升达2.53%。此外，FedKDX还表现出更快的收敛速度和更好的非独立同分布数据处理能力。实验结果验证了负知识蒸馏在解决联邦学习中数据异构性问题方面的有效性。

🎯 应用场景

FedKDX在医疗健康领域具有广泛的应用前景，例如：可用于构建分布式的疾病诊断系统，利用不同医院或诊所的数据训练模型，提高诊断准确率；可用于个性化医疗，根据患者的基因组数据和临床数据，训练个性化的治疗方案；可用于药物研发，利用不同研究机构的数据，加速药物的研发过程。该研究有助于在保护患者隐私的前提下，提升医疗AI系统的性能，促进医疗健康领域的发展。

📄 摘要（原文）

This paper introduces FedKDX, a federated learning framework that addresses limitations in healthcare AI through Negative Knowledge Distillation (NKD). Unlike existing approaches that focus solely on positive knowledge transfer, FedKDX captures both target and non-target information to improve model generalization in healthcare applications. The framework integrates multiple knowledge transfer techniques--including traditional knowledge distillation, contrastive learning, and NKD--within a unified architecture that maintains privacy while reducing communication costs. Through experiments on healthcare datasets (SLEEP, UCI-HAR, and PAMAP2), FedKDX demonstrates improved accuracy (up to 2.53% over state-of-the-art methods), faster convergence, and better performance on non-IID data distributions. Theoretical analysis supports NKD's contribution to addressing statistical heterogeneity in distributed healthcare data. The approach shows promise for privacy-sensitive medical applications under regulatory frameworks like HIPAA and GDPR, offering a balanced solution between performance and practical implementation requirements in decentralized healthcare settings. The code and model are available at https://github.com/phamdinhdat-ai/Fed_2024.