Benchmarking Robust Self-Supervised Learning Across Diverse Downstream Tasks
作者: Antoni Kowalczuk, Jan Dubiński, Atiyeh Ashari Ghomi, Yi Sui, George Stein, Jiapeng Wu, Jesse C. Cresswell, Franziska Boenisch, Adam Dziedzic
分类: cs.CV, cs.AI
发布日期: 2024-07-17 (更新: 2024-07-18)
备注: Accepted at the ICML 2024 Workshop on Foundation Models in the Wild
💡 一句话要点
评估自监督学习模型在多样下游任务中的鲁棒性，揭示其脆弱性并指出改进方向。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自监督学习 对抗鲁棒性 下游任务 视觉编码器 对抗攻击
📋 核心要点
- 现有研究主要关注图像分类任务的鲁棒性，忽略了语义分割、深度估计等其他视觉任务的脆弱性。
- 该论文通过在编码器嵌入空间和下游任务输出层进行攻击，评估自监督视觉编码器在多任务下的鲁棒性。
- 实验表明，针对图像分类的对抗微调方法在其他任务上会显著降低模型的干净和鲁棒性能。
📝 摘要（中文）
大规模视觉模型因其前所未有的性能和在各种下游任务中的通用性而成为许多应用中不可或缺的一部分。然而，这些基础模型的鲁棒性主要针对单一任务（即图像分类）进行了探索。其他常见视觉任务（如语义分割和深度估计）的脆弱性仍然很大程度上未知。本文对自监督视觉编码器在多个下游任务中的对抗鲁棒性进行了全面的实证评估。我们的攻击在编码器嵌入空间和下游任务输出级别上进行。在这两种情况下，当前最先进的对抗微调技术仅针对分类进行了测试，但在其他任务上显著降低了干净和鲁棒的性能。由于基础模型的目的是同时满足多个应用，我们的发现揭示了更广泛地增强编码器鲁棒性的必要性。代码可在 ${github.com/layer6ai-labs/ssl-robustness}$ 获取。
🔬 方法详解
问题定义：论文旨在解决自监督学习模型在应用于不同下游视觉任务时，其对抗鲁棒性评估不足的问题。现有方法主要关注图像分类任务，而忽略了语义分割、深度估计等其他任务的脆弱性。此外，针对图像分类任务设计的对抗训练方法，在应用于其他任务时，其有效性和泛化能力也存在疑问。
核心思路：论文的核心思路是通过在编码器嵌入空间和下游任务输出层两个层面构建对抗攻击，来全面评估自监督学习模型在不同下游任务中的鲁棒性。通过这种多层面的攻击方式，可以更深入地了解模型在不同任务中的脆弱点，从而为后续的鲁棒性提升提供指导。
技术框架：整体框架包括三个主要部分：1) 自监督学习预训练的视觉编码器；2) 多个下游任务（如图像分类、语义分割、深度估计）；3) 对抗攻击模块，分别作用于编码器嵌入空间和下游任务输出层。具体流程是：首先，使用自监督学习方法训练视觉编码器；然后，将编码器应用于不同的下游任务，并进行微调；最后，使用对抗攻击模块对微调后的模型进行攻击，评估其鲁棒性。
关键创新：论文的关键创新在于提出了一个针对自监督学习模型的多任务对抗鲁棒性评估框架。该框架不仅考虑了图像分类任务，还涵盖了语义分割、深度估计等其他常见视觉任务。此外，该框架还提出了在编码器嵌入空间和下游任务输出层两个层面进行对抗攻击的方法，从而更全面地评估模型的鲁棒性。
关键设计：在对抗攻击模块的设计上，论文采用了多种攻击方法，包括基于梯度的攻击和基于优化的攻击。具体来说，在编码器嵌入空间，可以使用诸如FGSM、PGD等方法生成对抗样本；在下游任务输出层，可以针对特定的损失函数设计对抗攻击。此外，论文还研究了不同的对抗训练策略，例如对抗微调，来提高模型的鲁棒性。具体的参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，针对图像分类任务设计的对抗微调方法在其他任务（如语义分割和深度估计）上会显著降低模型的干净和鲁棒性能。这表明，简单地将图像分类的对抗训练方法应用于其他任务可能并不有效，需要针对不同的任务进行专门的鲁棒性优化。具体性能数据和对比基线可在论文中找到。
🎯 应用场景
该研究成果可应用于自动驾驶、医疗影像分析、机器人导航等多个领域。通过提升自监督学习模型在各种视觉任务中的鲁棒性，可以提高这些应用在复杂环境下的可靠性和安全性。未来的研究可以进一步探索更有效的对抗训练方法，以及针对特定任务的鲁棒性优化策略。
📄 摘要（原文）
Large-scale vision models have become integral in many applications due to their unprecedented performance and versatility across downstream tasks. However, the robustness of these foundation models has primarily been explored for a single task, namely image classification. The vulnerability of other common vision tasks, such as semantic segmentation and depth estimation, remains largely unknown. We present a comprehensive empirical evaluation of the adversarial robustness of self-supervised vision encoders across multiple downstream tasks. Our attacks operate in the encoder embedding space and at the downstream task output level. In both cases, current state-of-the-art adversarial fine-tuning techniques tested only for classification significantly degrade clean and robust performance on other tasks. Since the purpose of a foundation model is to cater to multiple applications at once, our findings reveal the need to enhance encoder robustness more broadly. Our code is available at ${github.com/layer6ai-labs/ssl-robustness}$.