FedKDX: Federated Learning with Negative Knowledge Distillation for Enhanced Healthcare AI Systems

📄 arXiv: 2601.04587v1 📥 PDF

作者: Quang-Tu Pham, Hoang-Dieu Vu, Dinh-Dat Pham, Hieu H. Pham

分类: cs.LG, cs.AI

发布日期: 2026-01-08

🔗 代码/项目: GITHUB

💡 一句话要点

FedKDX：基于负知识蒸馏的联邦学习框架，提升医疗AI系统性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 负知识蒸馏 知识蒸馏 医疗AI 数据异构性 对比学习 隐私保护

📋 核心要点

  1. 现有联邦学习方法在医疗AI中面临数据异质性挑战，导致模型泛化能力受限。
  2. FedKDX框架通过引入负知识蒸馏，同时利用目标和非目标信息，提升模型在异构数据上的性能。
  3. 实验结果表明，FedKDX在多个医疗数据集上显著提升了模型准确率，并加快了收敛速度。

📝 摘要（中文）

本文提出了一种名为FedKDX的联邦学习框架，该框架通过负知识蒸馏（NKD）解决了医疗AI中的局限性。与仅关注正向知识迁移的现有方法不同，FedKDX同时捕获目标和非目标信息，从而提高医疗应用中模型的泛化能力。该框架在一个统一的架构中集成了多种知识迁移技术，包括传统知识蒸馏、对比学习和NKD，在保持隐私的同时降低了通信成本。在医疗数据集（SLEEP、UCI-HAR和PAMAP2）上的实验表明，FedKDX提高了准确性（比最先进的方法高出2.53%），加快了收敛速度，并在非独立同分布（non-IID）数据分布上表现更好。理论分析支持NKD对解决分布式医疗数据中统计异质性的贡献。该方法在HIPAA和GDPR等监管框架下的隐私敏感型医疗应用中显示出前景，为去中心化医疗环境中的性能和实际实施要求之间提供了平衡的解决方案。代码和模型可在https://github.com/phamdinhdat-ai/Fed_2024获取。

🔬 方法详解

问题定义：联邦学习在医疗领域面临数据异构性问题，即各个客户端的数据分布存在显著差异（non-IID）。传统的联邦学习方法主要关注正向知识的迁移，忽略了负向知识（即哪些不是目标的信息），导致模型在面对异构数据时泛化能力不足。现有方法难以在保证隐私的前提下，充分利用各个客户端的数据信息，提升全局模型的性能。

核心思路：FedKDX的核心思路是引入负知识蒸馏（Negative Knowledge Distillation, NKD）。通过让学生模型不仅学习教师模型的预测结果（正向知识），还学习教师模型“不预测”的结果（负向知识），从而增强模型对数据分布差异的鲁棒性。这种方法可以帮助模型更好地区分不同类别，提高泛化能力。

技术框架：FedKDX框架包含以下主要模块：1) 本地训练：每个客户端使用本地数据进行模型训练。2) 知识蒸馏：每个客户端的本地模型作为教师模型，利用知识蒸馏技术将知识迁移到全局学生模型。3) 负知识蒸馏：引入负知识蒸馏，让学生模型学习教师模型“不预测”的结果。4) 模型聚合：服务器端聚合来自各个客户端的模型更新，得到新的全局模型。5) 对比学习：利用对比学习进一步提升模型的表征能力。

关键创新：FedKDX的关键创新在于引入了负知识蒸馏（NKD）的概念，并将其与传统的知识蒸馏和对比学习相结合。与现有方法只关注正向知识迁移不同，FedKDX同时利用正向和负向知识，从而更好地解决联邦学习中的数据异构性问题。

关键设计：FedKDX的关键设计包括：1) 负知识蒸馏损失函数的设计，用于衡量学生模型与教师模型在“不预测”结果上的差异。2) 知识蒸馏损失函数的设计，用于衡量学生模型与教师模型在预测结果上的差异。3) 对比学习损失函数的设计，用于提升模型的表征能力。4) 框架中各种损失函数的权重设置，需要根据具体任务进行调整。

📊 实验亮点

实验结果表明，FedKDX在SLEEP、UCI-HAR和PAMAP2等医疗数据集上取得了显著的性能提升。例如，在某些数据集上，FedKDX的准确率比最先进的方法提高了高达2.53%。此外，FedKDX还表现出更快的收敛速度和更好的非独立同分布（non-IID）数据处理能力。这些结果验证了负知识蒸馏在解决联邦学习中数据异构性问题上的有效性。

🎯 应用场景

FedKDX在医疗健康领域具有广泛的应用前景，例如：可用于构建分布式的疾病诊断系统，利用不同医院或机构的数据进行模型训练，提高诊断准确率；可用于个性化医疗，根据患者的个人数据进行模型训练，提供更精准的治疗方案；可用于可穿戴设备数据分析，利用用户日常活动数据进行健康监测和风险预测。该研究有助于在保护患者隐私的前提下，提升医疗AI系统的性能，推动智慧医疗的发展。

📄 摘要（原文）

This paper introduces FedKDX, a federated learning framework that addresses limitations in healthcare AI through Negative Knowledge Distillation (NKD). Unlike existing approaches that focus solely on positive knowledge transfer, FedKDX captures both target and non-target information to improve model generalization in healthcare applications. The framework integrates multiple knowledge transfer techniques--including traditional knowledge distillation, contrastive learning, and NKD--within a unified architecture that maintains privacy while reducing communication costs. Through experiments on healthcare datasets (SLEEP, UCI-HAR, and PAMAP2), FedKDX demonstrates improved accuracy (up to 2.53% over state-of-the-art methods), faster convergence, and better performance on non-IID data distributions. Theoretical analysis supports NKD's contribution to addressing statistical heterogeneity in distributed healthcare data. The approach shows promise for privacy-sensitive medical applications under regulatory frameworks like HIPAA and GDPR, offering a balanced solution between performance and practical implementation requirements in decentralized healthcare settings. The code and model are available at https://github.com/phamdinhdat-ai/Fed_2024.