Revisiting Semi-supervised Adversarial Robustness via Noise-aware Online Robust Distillation

📄 arXiv: 2409.12946v1 📥 PDF

作者: Tsung-Han Wu, Hung-Ting Su, Shang-Tse Chen, Winston H. Hsu

分类: cs.LG, cs.CV

发布日期: 2024-09-19

备注: 12 pages, 4 figures, 9 tables

💡 一句话要点

提出SNORD框架，通过噪声感知在线鲁棒蒸馏提升半监督对抗鲁棒性，无需预训练模型。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 半监督学习 对抗训练 鲁棒性 噪声感知 蒸馏训练

📋 核心要点

  1. 现有的半监督对抗训练方法通常依赖于鲁棒的预训练模型，限制了其在低标注预算和复杂任务中的应用。
  2. SNORD框架通过增强伪标签质量和有效管理噪声数据，提升半监督对抗训练的性能，无需依赖预训练模型。
  3. 实验结果表明，SNORD在多个数据集和标注预算下均取得了最先进的性能，并且可以与现有对抗预训练策略结合。

📝 摘要（中文）

本文提出了一种名为SNORD的简单而有效的框架，用于提升半监督对抗训练的性能。与依赖鲁棒预训练模型的方法不同，SNORD将最新的半监督学习技术引入到对抗训练领域，通过增强伪标签和更有效地管理噪声训练数据，在各种数据集和标注预算下都展现出了卓越的性能，达到了最先进水平，且无需预训练模型。在CIFAR-10、CIFAR-100和TinyImageNet-200数据集上，SNORD仅使用不到0.1%、2%和10%的标签，就能在epsilon = 8/255的AutoAttack下实现90%的相对鲁棒准确率（相对于完全对抗监督）。额外的实验验证了每个组成部分的有效性，并证明了SNORD可以与现有的对抗预训练策略相结合，以进一步增强鲁棒性。

🔬 方法详解

问题定义：论文旨在解决半监督对抗训练中，如何在极低标注比例下，训练出具有良好鲁棒性的模型的问题。现有方法通常依赖于预训练的鲁棒模型，这增加了训练成本，并且限制了模型在特定任务上的泛化能力。此外，半监督学习中伪标签的质量直接影响模型的性能，如何有效利用和过滤噪声伪标签也是一个挑战。

核心思路：SNORD的核心思路是利用噪声感知的在线鲁棒蒸馏，在训练过程中动态地调整伪标签的权重，并利用鲁棒蒸馏来提高模型的抗攻击能力。通过这种方式，模型可以在没有预训练的情况下，仅使用少量真实标签和大量的伪标签进行训练，从而提高半监督对抗训练的效率和性能。

技术框架：SNORD框架主要包含以下几个模块：1) 学生模型和教师模型：学生模型是最终需要训练的鲁棒模型，教师模型用于生成伪标签。2) 伪标签生成模块：教师模型对未标记数据进行预测，生成伪标签。3) 噪声感知模块：该模块用于评估伪标签的质量，并根据质量调整伪标签的权重。4) 鲁棒蒸馏模块：学生模型通过学习教师模型的输出来提高鲁棒性。整个训练过程是在线的，即教师模型和学生模型同时进行训练，并相互促进。

关键创新：SNORD的关键创新在于噪声感知的在线鲁棒蒸馏。传统的半监督学习方法通常直接使用伪标签进行训练，而SNORD通过噪声感知模块来评估伪标签的质量，并根据质量调整伪标签的权重，从而减少了噪声伪标签对模型训练的影响。此外，SNORD采用在线鲁棒蒸馏的方式，使得学生模型可以不断地从教师模型中学习鲁棒性知识，从而提高模型的抗攻击能力。

关键设计：SNORD的关键设计包括：1) 噪声感知模块的设计：该模块使用一种基于一致性的方法来评估伪标签的质量。具体来说，对于每个未标记样本，模型会生成多个预测结果，并计算这些预测结果之间的一致性。一致性越高，说明伪标签的质量越高。2) 鲁棒蒸馏损失函数的设计：该损失函数结合了交叉熵损失和KL散度损失，其中交叉熵损失用于保证模型的分类准确率，KL散度损失用于保证模型的鲁棒性。3) 教师模型的更新策略：教师模型采用指数移动平均（EMA）的方式进行更新，以保证教师模型的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SNORD在CIFAR-10、CIFAR-100和TinyImageNet-200数据集上取得了显著的性能提升。在epsilon = 8/255的AutoAttack攻击下，SNORD仅使用不到0.1%、2%和10%的标签，就能实现90%的相对鲁棒准确率（相对于完全对抗监督）。这表明SNORD在极低标注比例下，也能有效地提高模型的对抗鲁棒性，并且无需依赖预训练模型。

🎯 应用场景

SNORD框架可应用于各种需要对抗鲁棒性的半监督学习场景，例如自动驾驶、医疗图像分析、金融风控等。在这些场景中，标注数据的获取成本通常很高，而SNORD可以在极低标注比例下训练出具有良好鲁棒性的模型，从而降低训练成本，提高模型的实用性。此外，SNORD还可以与其他对抗训练技术相结合，进一步提高模型的鲁棒性。

📄 摘要（原文）

The robust self-training (RST) framework has emerged as a prominent approach for semi-supervised adversarial training. To explore the possibility of tackling more complicated tasks with even lower labeling budgets, unlike prior approaches that rely on robust pretrained models, we present SNORD - a simple yet effective framework that introduces contemporary semi-supervised learning techniques into the realm of adversarial training. By enhancing pseudo labels and managing noisy training data more effectively, SNORD showcases impressive, state-of-the-art performance across diverse datasets and labeling budgets, all without the need for pretrained models. Compared to full adversarial supervision, SNORD achieves a 90% relative robust accuracy under epsilon = 8/255 AutoAttack, requiring less than 0.1%, 2%, and 10% labels for CIFAR-10, CIFAR-100, and TinyImageNet-200, respectively. Additional experiments confirm the efficacy of each component and demonstrate the adaptability of integrating SNORD with existing adversarial pretraining strategies to further bolster robustness.