BEARD: Benchmarking the Adversarial Robustness for Dataset Distillation

📄 arXiv: 2411.09265v1 📥 PDF

作者: Zheng Zhou, Wenquan Feng, Shuchang Lyu, Guangliang Cheng, Xiaowei Huang, Qi Zhao

分类: cs.CV

发布日期: 2024-11-14

备注: 15 pages, 6 figures

💡 一句话要点

BEARD：数据集蒸馏对抗鲁棒性评测基准，解决现有方法安全性评估缺失问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 对抗鲁棒性 评测基准 对抗攻击 鲁棒性评估

📋 核心要点

  1. 现有数据集蒸馏方法侧重于压缩率和准确性，忽略了对抗攻击下的鲁棒性，缺乏安全性评估。
  2. BEARD构建统一的对抗鲁棒性评测基准，包含多种攻击、数据集和评估指标，采用对抗博弈框架。
  3. BEARD提供排行榜和模型/数据集库，支持可复现研究，并分析了不同IPC设置和对抗训练的影响。

📝 摘要（中文）

数据集蒸馏(DD)是一种新兴技术，它将大规模数据集压缩成显著更小的合成数据集，同时保持较高的测试性能，并能够高效地训练大型模型。然而，目前的研究主要集中在提高有限压缩比下的评估准确性，往往忽略了关键的安全问题，如对抗鲁棒性。评估这种鲁棒性的一个关键挑战在于蒸馏方法、模型架构和对抗攻击策略之间复杂的相互作用，这使得标准化评估变得复杂。为了解决这个问题，我们引入了BEARD，一个开放和统一的基准，旨在系统地评估DD方法（包括DM、IDM和BACON）的对抗鲁棒性。BEARD包含针对CIFAR-10/100和TinyImageNet等蒸馏数据集的各种对抗攻击（例如，FGSM、PGD、C&W）。利用对抗博弈框架，它引入了三个关键指标：鲁棒性比率（RR）、攻击效率比率（AE）和综合鲁棒性-效率指数（CREI）。我们的分析包括统一的基准、各种每类图像数（IPC）设置以及对抗训练的影响。结果可在BEARD排行榜上找到，以及一个提供模型和数据集池的库，以支持可重复的研究。代码可在BEARD访问。

🔬 方法详解

问题定义：数据集蒸馏旨在将大型数据集压缩为小型合成数据集，以加速模型训练并降低存储成本。然而，现有数据集蒸馏方法主要关注在干净数据上的准确率，忽略了对抗攻击下的鲁棒性。缺乏系统性的评估框架来衡量和比较不同蒸馏方法在对抗环境下的表现，这阻碍了该领域的进一步发展。现有方法难以应对蒸馏方法、模型架构和对抗攻击策略之间的复杂交互。

核心思路：BEARD的核心思路是构建一个统一的、可复现的对抗鲁棒性评测基准。通过提供标准化的数据集、模型和攻击方法，以及明确的评估指标，BEARD旨在促进对数据集蒸馏方法在对抗环境下的性能进行客观比较和分析。采用对抗博弈框架，将蒸馏方法和攻击方法视为博弈双方，从而更全面地评估鲁棒性。

技术框架：BEARD的技术框架主要包含以下几个模块：1) 数据集池：包含常用的数据集，如CIFAR-10/100和TinyImageNet。2) 模型池：提供多种模型架构，用于评估蒸馏数据集的有效性。3) 攻击方法：集成多种对抗攻击算法，如FGSM、PGD和C&W。4) 评估指标：引入鲁棒性比率（RR）、攻击效率比率（AE）和综合鲁棒性-效率指数（CREI）来衡量对抗鲁棒性。5) 排行榜：公开展示不同蒸馏方法在BEARD上的性能表现。

关键创新：BEARD的关键创新在于其统一的评测框架和对抗博弈的评估思路。与以往研究只关注准确率不同，BEARD首次系统性地评估了数据集蒸馏方法在对抗攻击下的鲁棒性。通过引入RR、AE和CREI等指标，BEARD能够更全面地衡量蒸馏方法的性能。此外，BEARD提供的模型和数据集池，以及排行榜，极大地促进了可复现的研究。

关键设计：BEARD的关键设计包括：1) 对抗攻击参数的标准化设置，确保不同攻击方法的可比性。2) 评估指标的精心设计，RR衡量模型在对抗攻击下的准确率下降程度，AE衡量攻击的效率，CREI综合考虑了鲁棒性和效率。3) 提供不同IPC（Images Per Class）设置，以评估蒸馏方法在不同压缩比下的性能。4) 鼓励使用对抗训练来提高蒸馏数据集的鲁棒性，并提供相应的实验结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BEARD基准测试了DM、IDM和BACON等数据集蒸馏方法在CIFAR-10/100和TinyImageNet上的对抗鲁棒性。实验结果表明，现有蒸馏方法在对抗攻击下表现不佳，鲁棒性比率（RR）显著下降。对抗训练可以有效提高蒸馏数据集的鲁棒性，但仍有提升空间。BEARD排行榜提供了详细的性能数据，方便研究者进行比较和分析。

🎯 应用场景

BEARD的研究成果可应用于对数据集蒸馏算法的安全性评估，指导更鲁棒的蒸馏算法设计。在安全攸关的应用场景，如自动驾驶、医疗诊断等，对抗鲁棒性至关重要。BEARD能够帮助开发者选择和优化更安全的蒸馏模型，降低系统被攻击的风险，提升AI系统的可靠性。

📄 摘要（原文）

Dataset Distillation (DD) is an emerging technique that compresses large-scale datasets into significantly smaller synthesized datasets while preserving high test performance and enabling the efficient training of large models. However, current research primarily focuses on enhancing evaluation accuracy under limited compression ratios, often overlooking critical security concerns such as adversarial robustness. A key challenge in evaluating this robustness lies in the complex interactions between distillation methods, model architectures, and adversarial attack strategies, which complicate standardized assessments. To address this, we introduce BEARD, an open and unified benchmark designed to systematically assess the adversarial robustness of DD methods, including DM, IDM, and BACON. BEARD encompasses a variety of adversarial attacks (e.g., FGSM, PGD, C&W) on distilled datasets like CIFAR-10/100 and TinyImageNet. Utilizing an adversarial game framework, it introduces three key metrics: Robustness Ratio (RR), Attack Efficiency Ratio (AE), and Comprehensive Robustness-Efficiency Index (CREI). Our analysis includes unified benchmarks, various Images Per Class (IPC) settings, and the effects of adversarial training. Results are available on the BEARD Leaderboard, along with a library providing model and dataset pools to support reproducible research. Access the code at BEARD.