SAM Meets UAP: Attacking Segment Anything Model With Universal Adversarial Perturbation

📄 arXiv: 2310.12431v2 📥 PDF

作者: Dongshen Han, Chaoning Zhang, Sheng Zheng, Chang Lu, Yang Yang, Heng Tao Shen

分类: cs.CV

发布日期: 2023-10-19 (更新: 2024-08-20)

💡 一句话要点

提出基于自监督对比学习的UAP生成方法以攻击SAM模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 通用对抗扰动 自监督学习 计算机视觉 模型鲁棒性

📋 核心要点

  1. 现有的以图像为中心的攻击方法在通用对抗攻击中表现不佳，无法有效攻击SAM模型。
  2. 本文提出了一种基于自监督对比学习的扰动生成框架，旨在生成能够攻击SAM的通用对抗扰动。
  3. 实验结果表明，所提方法在攻击效果上优于传统方法，验证了正负样本在UAP生成中的重要性。

📝 摘要（中文）

随着Segment Anything Model (SAM)在计算机视觉领域的广泛应用，其对抗鲁棒性问题愈发引起关注。本文探讨了是否可以利用图像无关的通用对抗扰动（UAP）来攻击SAM，旨在寻找一种能够使SAM对大多数（如果不是全部）图像预测无效掩码的单一扰动。研究表明，传统的以图像为中心的攻击框架在图像无关攻击中有效，但在通用对抗攻击中失效。因此，本文提出了一种新的以扰动为中心的框架，基于自监督对比学习（CL）生成UAP，其中UAP作为锚样本，正样本从UAP增强而来，负样本的表示则提前从图像编码器获取并保存在内存库中。通过定量和定性结果验证了所提CL基础的UAP生成方法的有效性。

🔬 方法详解

问题定义：本文旨在解决如何有效攻击Segment Anything Model (SAM)的问题。现有的以图像为中心的攻击方法在面对通用对抗扰动时表现不佳，无法生成有效的扰动来欺骗模型。

核心思路：论文提出了一种新的以扰动为中心的框架，利用自监督对比学习生成通用对抗扰动（UAP），通过将UAP作为锚样本，并从中增强正样本，来提高攻击的有效性。

技术框架：整体架构包括三个主要模块：1) UAP生成模块，利用自监督对比学习生成扰动；2) 正样本增强模块，从UAP中生成正样本；3) 负样本存储模块，提前从图像编码器获取负样本并存储在内存库中。

关键创新：最重要的技术创新在于提出了基于自监督对比学习的UAP生成方法，显著提升了对SAM模型的攻击效果，与传统图像中心攻击方法形成鲜明对比。

关键设计：在参数设置上，正样本通过数据增强技术生成，负样本的表示通过图像编码器提取并存储，损失函数设计为对比损失，以确保生成的UAP在多样性和有效性之间取得平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提的基于自监督对比学习的UAP生成方法在攻击SAM模型时，较传统方法的攻击成功率提升了显著幅度，定量评估结果表明，生成的UAP在多种图像上均能有效欺骗模型，验证了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的安全性评估、模型鲁棒性测试以及对抗样本生成等。通过提高对抗攻击的有效性，能够帮助研究人员更好地理解和提升模型的安全性，进而推动更安全的计算机视觉应用的发展。

📄 摘要（原文）

As Segment Anything Model (SAM) becomes a popular foundation model in computer vision, its adversarial robustness has become a concern that cannot be ignored. This works investigates whether it is possible to attack SAM with image-agnostic Universal Adversarial Perturbation (UAP). In other words, we seek a single perturbation that can fool the SAM to predict invalid masks for most (if not all) images. We demonstrate convetional image-centric attack framework is effective for image-independent attacks but fails for universal adversarial attack. To this end, we propose a novel perturbation-centric framework that results in a UAP generation method based on self-supervised contrastive learning (CL), where the UAP is set to the anchor sample and the positive sample is augmented from the UAP. The representations of negative samples are obtained from the image encoder in advance and saved in a memory bank. The effectiveness of our proposed CL-based UAP generation method is validated by both quantitative and qualitative results. On top of the ablation study to understand various components in our proposed method, we shed light on the roles of positive and negative samples in making the generated UAP effective for attacking SAM.