Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization

📄 arXiv: 2310.12713v2 📥 PDF

作者: Yaohua Liu, Jiaxin Gao, Xianghao Jiao, Zhu Liu, Xin Fan, Risheng Liu

分类: cs.LG

发布日期: 2023-10-19 (更新: 2024-03-10)

备注: 13 Pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出LAST框架以解决对抗训练中的不稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗训练 鲁棒性 自蒸馏 深度学习 模型优化 动态学习 历史状态

📋 核心要点

  1. 现有对抗训练方法在目标模型防御的直接迭代更新中，常遭遇训练不稳定和灾难性过拟合等问题。
  2. 本文提出LAST框架，通过利用目标模型的历史状态作为代理，提供有效的初始化和防御先验，改善训练过程。
  3. 实验结果显示，LAST框架在CIFAR10和CIFAR100数据集上分别提升了9.2%和20.3%的鲁棒准确率，验证了其有效性。

📝 摘要（中文）

对抗训练（AT）在增强深度学习模型的鲁棒性方面至关重要，但现有方法常面临训练不稳定和灾难性过拟合等挑战。本文提出了一种新的框架LAST（Learn from the Past），利用目标模型的历史状态作为代理，以提供有效的初始化和防御先验。LAST通过动态学习的快速权重不断修正目标模型的更新方向，并引入自蒸馏正则化目标，避免依赖外部教师模型，从而减轻灾难性过拟合对性能的影响。大量实验表明，该框架在CIFAR10和CIFAR100数据集上分别提高了9.2%和20.3%的鲁棒准确率，显著提升了模型的鲁棒性和训练稳定性。

🔬 方法详解

问题定义：本文旨在解决对抗训练中存在的训练不稳定性和灾难性过拟合问题。现有方法往往依赖于直接更新目标模型，导致性能下降。

核心思路：LAST框架的核心思路是利用目标模型的历史状态作为代理，提供有效的初始化和防御先验，从而改善模型的训练过程和鲁棒性。

技术框架：LAST框架包括两个主要模块：代理模型和目标模型。代理模型通过动态学习的快速权重来修正目标模型的更新方向，同时引入自蒸馏正则化目标以优化代理模型的更新轨迹。

关键创新：LAST的关键创新在于使用历史状态作为代理，避免了对外部教师模型的依赖，显著减轻了灾难性过拟合的影响。这一设计与传统对抗训练方法形成了鲜明对比。

关键设计：在设计上，LAST采用了动态学习的快速权重更新机制，并引入自蒸馏正则化损失函数，以确保代理模型的更新轨迹能够有效引导目标模型的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LAST框架在CIFAR10和CIFAR100数据集上分别提升了9.2%和20.3%的鲁棒准确率，显著提高了模型的训练稳定性。这些提升在多种模型架构和攻击模式下均得到了验证，展示了LAST的广泛适用性。

🎯 应用场景

LAST框架在对抗训练中的应用潜力巨大，能够广泛应用于计算机视觉、自然语言处理等领域，提升模型在面对对抗攻击时的鲁棒性。其设计理念和方法也可为其他深度学习任务提供借鉴，推动相关研究的发展。

📄 摘要（原文）

Adversarial Training (AT), pivotal in fortifying the robustness of deep learning models, is extensively adopted in practical applications. However, prevailing AT methods, relying on direct iterative updates for target model's defense, frequently encounter obstacles such as unstable training and catastrophic overfitting. In this context, our work illuminates the potential of leveraging the target model's historical states as a proxy to provide effective initialization and defense prior, which results in a general proxy guided defense framework, `LAST' ({\bf L}earn from the P{\bf ast}). Specifically, LAST derives response of the proxy model as dynamically learned fast weights, which continuously corrects the update direction of the target model. Besides, we introduce a self-distillation regularized defense objective, ingeniously designed to steer the proxy model's update trajectory without resorting to external teacher models, thereby ameliorating the impact of catastrophic overfitting on performance. Extensive experiments and ablation studies showcase the framework's efficacy in markedly improving model robustness (e.g., up to 9.2\% and 20.3\% enhancement in robust accuracy on CIFAR10 and CIFAR100 datasets, respectively) and training stability. These improvements are consistently observed across various model architectures, larger datasets, perturbation sizes, and attack modalities, affirming LAST's ability to consistently refine both single-step and multi-step AT strategies. The code will be available at~\url{https://github.com/callous-youth/LAST}.