A Vision-Language Pre-training Model-Guided Approach for Mitigating Backdoor Attacks in Federated Learning

📄 arXiv: 2508.10315v2 📥 PDF

作者: Keke Gai, Dongjue Wang, Jing Yu, Liehuang Zhu, Qi Wu

分类: cs.LG, cs.AI

发布日期: 2025-08-14 (更新: 2025-10-13)

💡 一句话要点

提出CLIP-Fed以解决联邦学习中的后门攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 后门攻击 视觉-语言模型 零样本学习 隐私保护 多模态数据增强 对抗防御

📋 核心要点

  1. 现有的后门攻击防御方法在异构客户端数据分布下难以平衡有效性与隐私保护，限制了其应用。
  2. 本文提出的CLIP-Fed框架利用视觉-语言预训练模型的零样本学习能力，结合预聚合和后聚合防御策略。
  3. 实验结果显示，CLIP-Fed在多个数据集上显著降低了攻击成功率，同时提高了主任务的准确性。

📝 摘要（中文）

在联邦学习（FL）中，针对异构客户端数据分布的后门攻击防御面临有效性与隐私保护之间的平衡挑战，现有方法大多依赖于同质客户端数据分布或干净服务器数据集的假设。本文提出了一种名为CLIP-Fed的FL后门防御框架，利用视觉-语言预训练模型的零样本学习能力。该方案通过集成预聚合和后聚合防御策略，克服了非独立同分布（Non-IID）对防御有效性的限制。CLIP-Fed通过原型对比损失和Kullback-Leibler散度对全球模型和CLIP的知识进行对齐，从而确保后门样本引起的类别原型偏差被消除。实验结果表明，CLIP-Fed在CIFAR-10和CIFAR-10-LT数据集上分别实现了攻击成功率平均降低2.03%和1.35%，同时主任务准确率提高7.92%和0.48%。

🔬 方法详解

问题定义：本文旨在解决联邦学习中后门攻击防御的有效性与隐私保护之间的矛盾。现有方法通常假设客户端数据分布同质，或依赖于干净的服务器数据集，这在实际应用中难以实现。

核心思路：CLIP-Fed框架通过利用视觉-语言预训练模型的零样本学习能力，结合预聚合和后聚合防御策略，克服了非独立同分布对防御效果的限制。该方法通过对齐全球模型与CLIP的知识，消除后门样本引起的类别偏差。

技术框架：CLIP-Fed的整体架构包括数据增强、模型对齐和防御策略三个主要模块。首先，使用多模态大语言模型和频率分析构建和增强服务器数据集；其次，通过原型对比损失和Kullback-Leibler散度实现模型知识的对齐；最后，实施预聚合和后聚合防御策略。

关键创新：CLIP-Fed的主要创新在于其结合了视觉-语言模型的零样本学习能力与多模态数据增强策略，显著提高了防御效果，并有效消除了后门样本的影响。与现有方法相比，CLIP-Fed在处理异构数据分布时表现出更强的鲁棒性。

关键设计：在损失函数设计上，采用了原型对比损失和Kullback-Leibler散度，以确保模型对类别原型的准确对齐。此外，数据增强过程不依赖于客户端样本，增强了隐私保护能力。整体网络结构设计上，CLIP-Fed通过多模态融合提升了模型的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLIP-Fed在CIFAR-10和CIFAR-10-LT数据集上的实验结果显示，攻击成功率分别降低了2.03%和1.35%，同时主任务准确率提高了7.92%和0.48%。这些结果表明，CLIP-Fed在防御后门攻击的同时，显著提升了模型的整体性能，展示了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括安全的联邦学习系统、智能医疗、金融风控等需要保护用户隐私的场景。通过有效防御后门攻击，CLIP-Fed能够提升模型的安全性和可靠性，促进在敏感数据环境中的广泛应用。未来，该方法可能推动更多隐私保护与安全防护技术的结合，提升联邦学习的应用价值。

📄 摘要（原文）

Defending backdoor attacks in Federated Learning (FL) under heterogeneous client data distributions encounters limitations balancing effectiveness and privacy-preserving, while most existing methods highly rely on the assumption of homogeneous client data distributions or the availability of a clean serve dataset. In this paper, we propose an FL backdoor defense framework, named CLIP-Fed, that utilizes the zero-shot learning capabilities of vision-language pre-training models. Our scheme overcomes the limitations of Non-IID imposed on defense effectiveness by integrating pre-aggregation and post-aggregation defense strategies. CLIP-Fed aligns the knowledge of the global model and CLIP on the augmented dataset using prototype contrastive loss and Kullback-Leibler divergence, so that class prototype deviations caused by backdoor samples are ensured and the correlation between trigger patterns and target labels is eliminated. In order to balance privacy-preserving and coverage enhancement of the dataset against diverse triggers, we further construct and augment the server dataset via using the multimodal large language model and frequency analysis without any client samples. Extensive experiments on representative datasets evidence the effectiveness of CLIP-Fed. Comparing to other existing methods, CLIP-Fed achieves an average reduction in Attack Success Rate, {\em i.e.}, 2.03\% on CIFAR-10 and 1.35\% on CIFAR-10-LT, while improving average Main Task Accuracy by 7.92\% and 0.48\%, respectively. Our codes are available at https://anonymous.4open.science/r/CLIP-Fed.