Universal Cross-Prompt Adversarial Attacks on Promptable Concept Segmentation

📄 arXiv: 2609.39265v1 📥 PDF

作者: Ziqi Zhou, Yifan Hu, Yufei Song, Haowen Jiang, Xianlong Wang, Shengshan Hu, Dezhong Yao, Leo Yu Zhang

分类: cs.CV

发布日期: 2026-09-30

备注: Accepted by NeurIPS 2026

💡 一句话要点

提出AdvPCS以解决Promptable Concept Segmentation中的对抗攻击问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 视觉分割 概念分割 深度学习 模型鲁棒性 跨提示攻击 计算机视觉

📋 核心要点

  1. 现有SAM系列模型在对抗样本下表现脆弱，尤其是SAM3在概念分割范式下的鲁棒性尚未被研究。
  2. 本文提出AdvPCS，通过最小-最大优化策略识别最难攻击的提示，并结合全局和局部感知欺骗攻击。
  3. 实验结果表明，AdvPCS生成的通用对抗扰动在不同视频帧间具有良好的泛化能力，攻击性能显著提升。

📝 摘要（中文）

Segment Anything Model (SAM)在视觉分割领域表现优异，最新的SAM3扩展了可提示分割至概念级预测。然而，SAM系列模型在对抗样本下的鲁棒性仍未被充分探讨。为此，本文提出了AdvPCS，一种针对Promptable Concept Segmentation (PCS)的通用跨提示对抗攻击方法。该方法包括最小-最大提示优化策略、全局-局部感知欺骗攻击和时间过渡偏差攻击。通过广泛的实验，证明了该方法生成的单一通用对抗扰动在不同视频帧间具有良好的泛化能力，并在文本提示下显著降低了SA-CO数据集上多种PCS模型的平均mIoU至5%以下，展示了强大的攻击能力。

🔬 方法详解

问题定义：本文旨在解决Promptable Concept Segmentation (PCS)中对抗攻击的有效性问题。现有SAM系列模型在对抗样本下表现脆弱，尤其是SAM3的鲁棒性尚未被探讨。

核心思路：AdvPCS通过最小-最大优化策略识别最难攻击的提示，并结合全局和局部感知欺骗攻击，以提高对抗攻击的有效性和泛化能力。

技术框架：整体流程包括两个主要阶段：首先进行内层最大化以增强候选提示的多样性，然后进行外层最小化以选择响应最高的提示。接着应用感知欺骗攻击和时间记忆错位攻击。

关键创新：AdvPCS的核心创新在于其通用跨提示对抗攻击能力，能够在不同提示类型（点、框、文本）下有效攻击PCS模型，显著提升了攻击的跨提示可转移性。

关键设计：在参数设置上，采用最小-最大双层优化策略，内层通过增强候选提示的多样性，外层则基于检测器输出的置信度选择提示。此外，感知欺骗攻击和时间记忆错位攻击的设计也为攻击效果提供了保障。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AdvPCS生成的单一通用对抗扰动在不同视频帧间具有良好的泛化能力。在文本提示下，SA-CO数据集上多种PCS模型的平均mIoU降至5%以下，展示了强大的攻击能力，显著优于现有方法。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的自动分割、视频分析和安全防护等。通过提高对抗攻击的有效性，AdvPCS能够帮助研究人员更好地理解模型的脆弱性，从而推动更鲁棒的视觉模型的开发，具有重要的实际价值和未来影响。

📄 摘要（原文）

The Segment Anything Model (SAM) achieves remarkable performance in visual segmentation. The latest SAM3 extends promptable segmentation to concept-level prediction, broadening the scope of segmentation foundation models. While recent works reveal that SAM and SAM2 are vulnerable to adversarial examples, the robustness of SAM3 under the concept segmentation paradigm remains unexplored. In addition, existing adversarial attacks on SAM-series models exhibit limited cross-prompt transferability. To this end, we propose AdvPCS, a universal cross-prompt adversarial attack for Promptable Concept Segmentation (PCS), including a min-max prompt optimization strategy, a global-local perception deception attack, and a temporal transition deviation attack. Specifically, we first identify the hardest-to-attack prompts via min-max bilevel optimization. In the inner maximization, we enhance diversity over candidate point, box, and text prompts. In the outer minimization, we select prompts with the highest responses based on the confidence scores output by the detector. Given the selected prompts, we apply the perception deception attack to minimize both global and local existence probabilities under joint prompting and employ the temporal memory misalignment attack to maximize inter-frame semantic inconsistency and corrupt memory pointers. Extensive experiments on four benchmark datasets show that a single universal adversarial perturbation (UAP) generated by our method generalizes across frames from different videos and achieves strong attack performance under point, box, and text prompts. In particular, it reduces the average mIoU of various PCS models on the SA-CO dataset to below 5% under text prompts, demonstrating strong attack ability.