Sentinel: Dynamic Knowledge Distillation for Personalized Federated Intrusion Detection in Heterogeneous IoT Networks

📄 arXiv: 2510.23019v1 📥 PDF

作者: Gurpreet Singh, Keshav Sood, P. Rajalakshmi, Yong Xiang

分类: cs.LG, cs.DC

发布日期: 2025-10-27

备注: This is a preprint version of a paper currently under review for possible publication in IEEE TDSC

💡 一句话要点

Sentinel：异构IoT网络中基于动态知识蒸馏的个性化联邦入侵检测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 入侵检测 知识蒸馏 物联网安全 异构数据 个性化模型 双模型架构

📋 核心要点

  1. 传统联邦学习在IoT入侵检测中面临数据异构、类别不平衡和通信开销大的挑战，导致性能下降。
  2. Sentinel提出一种个性化联邦IDS框架，每个客户端使用双模型架构，包含个性化教师模型和共享学生模型。
  3. 实验结果表明，Sentinel在数据异构性下显著优于现有联邦方法，并在保持通信效率的同时，建立了新的性能基准。

📝 摘要（中文）

联邦学习(FL)为机器学习提供了一种保护隐私的范例，但其在物联网(IoT)网络入侵检测系统(IDS)中的应用面临着严重的类别不平衡、非独立同分布(non-IID)数据和高通信开销的挑战。这些挑战严重降低了传统FL方法在真实网络流量分类中的性能。为了克服这些限制，我们提出了Sentinel，一个个性化的联邦IDS(pFed-IDS)框架，该框架在每个客户端上集成了一个双模型架构，包括一个个性化的教师模型和一个轻量级的共享学生模型。这种设计有效地平衡了深度局部适应和高效的全局模型共识，同时通过仅传输紧凑的学生模型来保护客户端隐私，从而降低了通信成本。Sentinel集成了三个关键机制以确保稳健的性能：具有自适应温度缩放的双向知识蒸馏、多方面特征对齐和类别平衡损失函数。此外，服务器采用具有相等客户端权重的归一化梯度聚合，以增强公平性并减轻客户端漂移。在IoTID20和5GNIDD基准数据集上的大量实验表明，Sentinel显著优于最先进的联邦方法，建立了一个新的性能基准，尤其是在极端数据异构性下，同时保持了通信效率。

🔬 方法详解

问题定义：论文旨在解决异构IoT网络中，由于数据非独立同分布、类别不平衡以及高通信开销等问题，导致传统联邦学习在入侵检测任务中性能显著下降的难题。现有方法难以在保护隐私的同时，兼顾模型个性化和全局一致性，并且通信成本高昂。

核心思路：论文的核心思路是利用知识蒸馏，在每个客户端训练一个个性化的教师模型，然后将知识迁移到轻量级的共享学生模型。通过仅传输学生模型，降低通信开销。同时，采用双向知识蒸馏、多方面特征对齐和类别平衡损失函数等机制，提高模型的鲁棒性和泛化能力。

技术框架：Sentinel框架包含客户端和服务端两部分。客户端维护一个教师模型和一个学生模型。教师模型在本地数据上进行训练，学习个性化特征。然后，通过知识蒸馏将知识传递给学生模型。学生模型被发送到服务器进行聚合。服务器端采用归一化梯度聚合，并使用相等客户端权重来减轻客户端漂移。

关键创新：Sentinel的关键创新在于双模型架构和动态知识蒸馏机制。双模型架构允许客户端学习个性化特征，同时通过共享学生模型实现全局一致性。动态知识蒸馏通过自适应温度缩放，更好地控制知识迁移的过程，从而提高学生模型的性能。此外，多方面特征对齐和类别平衡损失函数进一步增强了模型的鲁棒性。

关键设计：论文采用了双向知识蒸馏，教师模型和学生模型相互学习。自适应温度缩放根据训练状态动态调整蒸馏温度。多方面特征对齐通过对齐不同层的特征，提高知识迁移的效率。类别平衡损失函数通过调整不同类别的权重，解决类别不平衡问题。服务器端使用归一化梯度聚合，并采用相等客户端权重，以增强公平性并减轻客户端漂移。

🖼️ 关键图片

img_0

📊 实验亮点

Sentinel在IoTID20和5GNIDD数据集上进行了广泛的实验，结果表明，Sentinel显著优于现有的联邦学习方法。尤其是在极端数据异构性下，Sentinel的性能提升更为明显。实验结果证明了Sentinel在实际应用中的有效性和优越性，为联邦学习在入侵检测领域的应用提供了新的思路。

🎯 应用场景

该研究成果可应用于各种物联网环境下的入侵检测系统，例如智能家居、工业控制系统和智慧城市等。通过个性化联邦学习，可以有效提高入侵检测的准确性和效率，同时保护用户隐私。该方法还有潜力扩展到其他安全相关的任务，例如恶意软件检测和异常行为分析。

📄 摘要（原文）

Federated learning (FL) offers a privacy-preserving paradigm for machine learning, but its application in intrusion detection systems (IDS) within IoT networks is challenged by severe class imbalance, non-IID data, and high communication overhead.These challenges severely degrade the performance of conventional FL methods in real-world network traffic classification. To overcome these limitations, we propose Sentinel, a personalized federated IDS (pFed-IDS) framework that incorporates a dual-model architecture on each client, consisting of a personalized teacher and a lightweight shared student model. This design effectively balances deep local adaptation with efficient global model consensus while preserving client privacy by transmitting only the compact student model, thus reducing communication costs. Sentinel integrates three key mechanisms to ensure robust performance: bidirectional knowledge distillation with adaptive temperature scaling, multi-faceted feature alignment, and class-balanced loss functions. Furthermore, the server employs normalized gradient aggregation with equal client weighting to enhance fairness and mitigate client drift. Extensive experiments on the IoTID20 and 5GNIDD benchmark datasets demonstrate that Sentinel significantly outperforms state-of-the-art federated methods, establishing a new performance benchmark, especially under extreme data heterogeneity, while maintaining communication efficiency.