Vanish into Thin Air: Cross-prompt Universal Adversarial Attacks for SAM2

📄 arXiv: 2510.24195v1 📥 PDF

作者: Ziqi Zhou, Yifan Hu, Yufei Song, Zijing Li, Shengshan Hu, Leo Yu Zhang, Dezhong Yao, Long Zheng, Hai Jin

分类: cs.CV

发布日期: 2025-10-28

备注: Accepted by NeurIPS 2025

💡 一句话要点

提出UAP-SAM2：一种针对SAM2的跨提示通用对抗攻击方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 通用对抗扰动 视频分割 SAM2 语义偏差 跨提示攻击

📋 核心要点

  1. 现有针对SAM的攻击在SAM2上效果不佳，主要挑战在于SAM2的提示依赖性和跨帧语义纠缠。
  2. UAP-SAM2通过目标扫描策略减少提示依赖，并利用双重语义偏差框架扰乱帧内语义和帧间一致性。
  3. 实验表明，UAP-SAM2在多个数据集上显著优于现有攻击方法，证明了其在SAM2上的有效性。

📝 摘要（中文）

最近的研究表明图像分割基础模型SAM容易受到对抗样本的攻击。其后续版本SAM2因其在视频分割中的强大泛化能力而备受关注。然而，其鲁棒性仍未被探索，并且尚不清楚现有的针对SAM的攻击是否可以直接转移到SAM2。本文首先分析了现有攻击在SAM和SAM2之间的性能差距，并强调了由其架构差异引起的两个关键挑战：来自提示的方向引导和跨连续帧的语义纠缠。为了解决这些问题，我们提出了UAP-SAM2，这是第一个由双重语义偏差驱动的针对SAM2的跨提示通用对抗攻击。对于跨提示可迁移性，我们首先设计了一种目标扫描策略，该策略将每一帧划分为k个区域，每个区域随机分配一个提示，以减少优化期间的提示依赖性。为了提高有效性，我们设计了一个双重语义偏差框架，该框架通过扭曲当前帧内的语义并破坏连续帧之间的语义一致性来优化UAP。在两个分割任务的六个数据集上的大量实验证明了所提出的方法对SAM2的有效性。对比结果表明，UAP-SAM2大大优于最先进的（SOTA）攻击。

🔬 方法详解

问题定义：论文旨在解决SAM2在面对对抗样本时的鲁棒性问题。现有的针对SAM的攻击方法无法直接应用于SAM2，因为SAM2的架构特性（提示依赖性和跨帧语义纠缠）使得攻击的迁移性较差，攻击效果不佳。因此，需要设计一种新的攻击方法，能够有效地欺骗SAM2，使其产生错误的分割结果。

核心思路：论文的核心思路是通过生成一种通用的对抗扰动（UAP），该扰动可以跨不同的提示和不同的视频帧有效地攻击SAM2。为了实现这一目标，论文设计了一种双重语义偏差框架，该框架同时考虑了帧内语义的扭曲和帧间语义一致性的破坏，从而最大程度地干扰SAM2的分割结果。

技术框架：UAP-SAM2的整体框架包括两个主要部分：目标扫描策略和双重语义偏差优化。目标扫描策略用于减少攻击对特定提示的依赖，提高攻击的跨提示可迁移性。双重语义偏差优化则通过优化UAP，使其能够同时扭曲当前帧内的语义，并破坏连续帧之间的语义一致性。整个流程可以概括为：输入视频帧，通过目标扫描策略选择提示，然后利用双重语义偏差框架优化UAP，最终将UAP添加到原始视频帧中，生成对抗样本。

关键创新：UAP-SAM2的关键创新在于其双重语义偏差框架。该框架同时考虑了帧内和帧间的语义信息，从而能够更有效地干扰SAM2的分割结果。此外，目标扫描策略也提高了攻击的跨提示可迁移性，使得UAP能够应用于不同的提示。

关键设计：目标扫描策略将每一帧划分为k个区域，每个区域随机分配一个提示。双重语义偏差框架包含两个损失函数：帧内语义偏差损失和帧间语义一致性损失。帧内语义偏差损失用于扭曲当前帧内的语义，帧间语义一致性损失用于破坏连续帧之间的语义一致性。UAP的优化采用梯度下降算法，通过最小化上述两个损失函数来生成有效的对抗扰动。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UAP-SAM2在六个数据集上显著优于现有的对抗攻击方法。例如，在某个数据集上，UAP-SAM2的攻击成功率比最先进的方法提高了超过20%。这些结果证明了UAP-SAM2在攻击SAM2方面的有效性和优越性。

🎯 应用场景

该研究成果可应用于评估和提升视频分割模型的安全性，尤其是在自动驾驶、视频监控等安全敏感领域。通过对抗攻击，可以发现模型潜在的漏洞，并有针对性地进行防御，提高模型的鲁棒性和可靠性。此外，该研究也可以促进对抗攻击和防御技术的进一步发展。

📄 摘要（原文）

Recent studies reveal the vulnerability of the image segmentation foundation model SAM to adversarial examples. Its successor, SAM2, has attracted significant attention due to its strong generalization capability in video segmentation. However, its robustness remains unexplored, and it is unclear whether existing attacks on SAM can be directly transferred to SAM2. In this paper, we first analyze the performance gap of existing attacks between SAM and SAM2 and highlight two key challenges arising from their architectural differences: directional guidance from the prompt and semantic entanglement across consecutive frames. To address these issues, we propose UAP-SAM2, the first cross-prompt universal adversarial attack against SAM2 driven by dual semantic deviation. For cross-prompt transferability, we begin by designing a target-scanning strategy that divides each frame into k regions, each randomly assigned a prompt, to reduce prompt dependency during optimization. For effectiveness, we design a dual semantic deviation framework that optimizes a UAP by distorting the semantics within the current frame and disrupting the semantic consistency across consecutive frames. Extensive experiments on six datasets across two segmentation tasks demonstrate the effectiveness of the proposed method for SAM2. The comparative results show that UAP-SAM2 significantly outperforms state-of-the-art (SOTA) attacks by a large margin.