Peak-Controlled Logits Poisoning Attack in Federated Distillation

📄 arXiv: 2407.18039v1 📥 PDF

作者: Yuhan Tang, Aoxu Zhang, Zhiyuan Wu, Bo Gao, Tian Wen, Yuwei Wang, Sheng Sun

分类: cs.LG, cs.AI

发布日期: 2024-07-25

备注: arXiv admin note: text overlap with arXiv:2401.03685

💡 一句话要点

提出PCFDLA以解决联邦蒸馏中的投毒攻击问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 联邦学习 知识蒸馏 投毒攻击 模型安全 分布式机器学习 隐蔽性攻击

📋 核心要点

  1. 现有的联邦蒸馏方法对投毒攻击的脆弱性尚未得到充分研究，尤其是在不同身份参与者的影响和知识传递各阶段的恶意修改效果方面。
  2. 本文提出的PCFDLA方法通过控制逻辑值的峰值，增强了FDLA的隐蔽性和有效性，能够更有效地误导客户端模型。
  3. 实验结果显示，PCFDLA在多个数据集上显著提高了对模型准确性的影响，验证了其在联邦蒸馏系统中的威胁潜力。

📝 摘要（中文）

联邦蒸馏（FD）是一种创新的分布式机器学习方法，利用知识蒸馏实现跨设备的知识传递，但其对投毒攻击的脆弱性尚未得到充分研究。为此，本文提出了PCFDLA（峰值控制的联邦蒸馏逻辑投毒攻击），该方法通过精确控制逻辑值的峰值，创造出高度误导但不易察觉的修改，从而增强了FDLA的效果。此外，本文引入了一种新的评估攻击效果的指标，实验结果表明，PCFDLA在保持隐蔽性的同时，对受害模型的破坏性显著高于前者，验证了其在联邦蒸馏系统中的潜在威胁。

🔬 方法详解

问题定义：本文旨在解决联邦蒸馏中对投毒攻击的脆弱性，现有方法FDLA未能充分考虑不同身份参与者的影响及知识传递阶段的恶意修改效果。

核心思路：PCFDLA通过精确控制逻辑值的峰值，创造出高度误导但不易察觉的修改，从而增强了对客户端模型的攻击效果。

技术框架：PCFDLA的整体架构包括数据收集、逻辑值修改、攻击实施和效果评估四个主要模块。每个模块在知识传递过程中发挥关键作用。

关键创新：PCFDLA的主要创新在于其对逻辑值峰值的控制，使得攻击更加隐蔽且有效，显著区别于传统的FDLA方法。

关键设计：在参数设置上，PCFDLA采用了新的评估指标来衡量攻击效果，并在逻辑值修改过程中引入了特定的损失函数，以确保攻击的隐蔽性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PCFDLA在多个数据集上对模型准确性的影响显著高于传统FDLA方法，攻击效果提升幅度达到XX%（具体数据需根据实验结果补充），验证了其在联邦蒸馏系统中的潜在威胁。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的分布式机器学习系统，如医疗、金融和物联网等领域。通过提高对投毒攻击的防御能力，可以增强这些系统的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Federated Distillation (FD) offers an innovative approach to distributed machine learning, leveraging knowledge distillation for efficient and flexible cross-device knowledge transfer without necessitating the upload of extensive model parameters to a central server. While FD has gained popularity, its vulnerability to poisoning attacks remains underexplored. To address this gap, we previously introduced FDLA (Federated Distillation Logits Attack), a method that manipulates logits communication to mislead and degrade the performance of client models. However, the impact of FDLA on participants with different identities and the effects of malicious modifications at various stages of knowledge transfer remain unexplored. To this end, we present PCFDLA (Peak-Controlled Federated Distillation Logits Attack), an advanced and more stealthy logits poisoning attack method for FD. PCFDLA enhances the effectiveness of FDLA by carefully controlling the peak values of logits to create highly misleading yet inconspicuous modifications. Furthermore, we introduce a novel metric for better evaluating attack efficacy, demonstrating that PCFDLA maintains stealth while being significantly more disruptive to victim models compared to its predecessors. Experimental results across various datasets confirm the superior impact of PCFDLA on model accuracy, solidifying its potential threat in federated distillation systems.