Improving Adversarial Robustness Through Adaptive Learning-Driven Multi-Teacher Knowledge Distillation

📄 arXiv: 2507.20996v1 📥 PDF

作者: Hayat Ullah, Syed Muhammad Talha Zaidi, Arslan Munir

分类: cs.CV

发布日期: 2025-07-28

备注: 11 pages

💡 一句话要点

提出自适应学习驱动的多教师知识蒸馏，提升CNN对抗鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗鲁棒性 知识蒸馏 多教师学习 自适应学习 卷积神经网络

📋 核心要点

  1. CNN易受对抗攻击，对抗训练虽有进展，但模型准确性和鲁棒性间仍存差距。
  2. 提出自适应学习驱动的多教师知识蒸馏，利用对抗训练的教师模型指导学生模型学习。
  3. 实验表明，该方法在MNIST和Fashion-MNIST数据集上，有效提升了CNN的对抗鲁棒性。

📝 摘要（中文）

卷积神经网络（CNN）在计算机视觉领域表现出色，但容易受到对抗攻击的影响，这些攻击通过精心设计的扰动来误导预测。尽管对抗训练取得了进展，但模型准确性和鲁棒性之间仍然存在差距。为了解决这个问题，本文提出了一种使用自适应学习策略的多教师对抗鲁棒性蒸馏方法。具体来说，该方法首先使用对抗训练策略，在通过不同对抗攻击获取的扰动数据池上训练基线CNN模型的多个克隆。训练完成后，这些经过对抗训练的模型被用作教师模型，通过多教师知识蒸馏来监督学生模型在干净数据上的学习。为了确保有效的鲁棒性蒸馏，设计了一种自适应学习策略，该策略通过根据每个模型的预测精度分配权重来控制每个模型的知识贡献。从对抗预训练的教师模型中提取知识不仅增强了学生模型的学习能力，而且使其能够抵抗不同的对抗攻击，尽管没有接触过对抗数据。为了验证所提出的方法，在不同的实验设置中，在MNIST-Digits和Fashion-MNIST数据集上对其进行了广泛的评估。获得的结果表明了多教师对抗蒸馏和自适应学习策略的有效性，从而增强了CNN针对各种对抗攻击的对抗鲁棒性。

🔬 方法详解

问题定义：论文旨在解决卷积神经网络（CNN）在对抗攻击下的脆弱性问题。尽管对抗训练可以提高模型的鲁棒性，但现有方法通常难以在准确性和鲁棒性之间取得良好的平衡，并且泛化能力有限，难以防御未知的对抗攻击。

核心思路：论文的核心思路是利用多教师知识蒸馏，将多个经过对抗训练的教师模型的知识迁移到学生模型。通过这种方式，学生模型可以在没有直接接触对抗样本的情况下，学习到防御各种对抗攻击的能力。自适应学习策略则用于动态调整每个教师模型的贡献，从而优化知识蒸馏过程。

技术框架：整体框架包含以下几个主要阶段：1) 教师模型训练：使用不同的对抗攻击方法训练多个教师模型，每个教师模型擅长防御特定的攻击。2) 知识蒸馏：使用干净数据训练学生模型，同时利用教师模型的预测结果作为软标签。3) 自适应权重分配：根据教师模型在验证集上的预测精度，动态调整其在知识蒸馏过程中的权重。

关键创新：论文的关键创新在于自适应学习策略。传统的知识蒸馏方法通常平等对待所有教师模型，而该方法根据教师模型的预测精度动态调整其权重，使得学生模型能够更加关注表现更好的教师模型，从而更有效地学习到鲁棒性知识。

关键设计：自适应权重分配策略是关键设计之一。具体来说，对于每个教师模型，计算其在验证集上的预测精度，并将其作为该教师模型的权重。在知识蒸馏过程中，使用加权平均的教师模型预测结果作为软标签，指导学生模型的学习。损失函数通常包括交叉熵损失和KL散度损失，用于衡量学生模型的预测结果与真实标签以及教师模型预测结果之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的方法在MNIST和Fashion-MNIST数据集上显著提高了CNN的对抗鲁棒性。与传统的对抗训练方法相比，该方法在防御多种对抗攻击（如FGSM、PGD、C&W）时，取得了更高的准确率。例如，在某些攻击下，模型的准确率提升了5%-10%。此外，自适应学习策略也证明了其有效性，能够进一步提升模型的鲁棒性。

🎯 应用场景

该研究成果可应用于各种安全敏感的计算机视觉任务中，例如自动驾驶、人脸识别、医疗图像分析等。通过提高模型对抗鲁棒性，可以有效防御恶意攻击，保障系统的安全性和可靠性。未来，该方法可以进一步扩展到更复杂的模型和数据集上，并与其他防御技术相结合，构建更加强大的对抗防御系统。

📄 摘要（原文）

Convolutional neural networks (CNNs) excel in computer vision but are susceptible to adversarial attacks, crafted perturbations designed to mislead predictions. Despite advances in adversarial training, a gap persists between model accuracy and robustness. To mitigate this issue, in this paper, we present a multi-teacher adversarial robustness distillation using an adaptive learning strategy. Specifically, our proposed method first trained multiple clones of a baseline CNN model using an adversarial training strategy on a pool of perturbed data acquired through different adversarial attacks. Once trained, these adversarially trained models are used as teacher models to supervise the learning of a student model on clean data using multi-teacher knowledge distillation. To ensure an effective robustness distillation, we design an adaptive learning strategy that controls the knowledge contribution of each model by assigning weights as per their prediction precision. Distilling knowledge from adversarially pre-trained teacher models not only enhances the learning capabilities of the student model but also empowers it with the capacity to withstand different adversarial attacks, despite having no exposure to adversarial data. To verify our claims, we extensively evaluated our proposed method on MNIST-Digits and Fashion-MNIST datasets across diverse experimental settings. The obtained results exhibit the efficacy of our multi-teacher adversarial distillation and adaptive learning strategy, enhancing CNNs' adversarial robustness against various adversarial attacks.