A Generative Adversarial Approach to Adversarial Attacks Guided by Contrastive Language-Image Pre-trained Model

📄 arXiv: 2511.01317v2 📥 PDF

作者: Sampriti Soor, Alik Pramanick, Jothiprakash K, Arijit Sur

分类: cs.CV

发布日期: 2025-11-03 (更新: 2025-11-16)

备注: 18 pages, 3 figures

💡 一句话要点

提出基于对比语言-图像预训练模型的生成对抗攻击方法，提升攻击效果与视觉保真度。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 对抗攻击 生成对抗网络 CLIP模型 多标签分类 视觉保真度

📋 核心要点

  1. 现有对抗攻击方法难以在多对象场景下生成有效且视觉保真度高的扰动，尤其是在多标签分类任务中。
  2. 利用CLIP模型对齐文本和图像表示的能力，结合自然语言语义引导损失，生成与原始图像高度相似的对抗样本。
  3. 实验结果表明，该方法在黑盒攻击场景下，能达到与现有技术相当甚至更优越的攻击效果，并保持更高的视觉保真度。

📝 摘要（中文）

深度学习的快速发展带来了强大的模型，可以处理各种任务，如图像识别和语言理解。然而，对抗攻击，一种不易察觉的篡改，可能会欺骗模型，导致不准确的预测。本文提出了一种生成对抗攻击方法，该方法利用CLIP模型来创建高效且视觉上难以察觉的对抗扰动。CLIP模型对齐文本和图像表示的能力有助于将自然语言语义与引导损失相结合，从而生成与原始输入看起来相同的有效对抗样本。这种集成允许广泛的场景操作，在多对象环境中创建专门设计用于欺骗多标签分类器的扰动。我们的方法集成了基于显著性的自编码器（SSAE）的集中扰动策略和类似于生成对抗多对象场景攻击（GAMA）的非相似文本嵌入，从而产生既能欺骗分类模型又能保持与原始图像高度结构相似性的扰动。该模型在各种黑盒受害者模型上进行了测试。实验结果表明，我们的方法具有竞争力，在保持更高视觉保真度的同时，实现了与现有技术相当或更优越的结果。

🔬 方法详解

问题定义：论文旨在解决对抗攻击中，现有方法在多对象场景下，尤其是在多标签分类任务中，生成的对抗样本视觉保真度低，攻击效果不佳的问题。现有的对抗攻击方法通常难以在保持图像语义完整性的同时，有效地欺骗模型。

核心思路：论文的核心思路是利用CLIP模型对文本和图像的对齐能力，通过自然语言语义引导对抗扰动的生成，从而在保持图像视觉质量的同时，提高对抗攻击的有效性。通过将对抗样本与目标文本描述对齐，可以更有效地欺骗模型。

技术框架：该方法采用生成对抗网络的框架，其中生成器负责生成对抗扰动，判别器（或受害者模型）用于评估扰动的有效性。CLIP模型被用于指导生成器生成与目标文本描述相符的扰动。整体流程包括：1）输入原始图像；2）生成对抗扰动；3）将扰动添加到原始图像；4）使用CLIP模型计算对抗样本与目标文本描述之间的相似度，并以此作为损失函数指导生成器训练；5）评估对抗样本在受害者模型上的攻击效果。

关键创新：该方法的关键创新在于将CLIP模型引入对抗攻击中，利用其强大的文本-图像对齐能力，实现了语义引导的对抗扰动生成。与传统的基于像素扰动的对抗攻击方法相比，该方法生成的扰动更具有语义意义，从而更容易欺骗模型，同时保持更高的视觉保真度。此外，结合了SSAE的集中扰动策略和GAMA的非相似文本嵌入，进一步提升了攻击效果。

关键设计：该方法使用了CLIP模型计算对抗样本与目标文本描述之间的相似度，并将其作为损失函数的一部分。损失函数可能包括：1）CLIP相似度损失，用于鼓励对抗样本与目标文本描述对齐；2）图像相似度损失，用于保持对抗样本与原始图像的视觉相似性；3）对抗损失，用于最大化受害者模型的分类错误率。具体的网络结构和参数设置需要根据具体的实验环境进行调整。

📊 实验亮点

实验结果表明，该方法在多种黑盒受害者模型上表现出竞争力，在攻击成功率方面与现有技术相当甚至更优，同时显著提高了对抗样本的视觉保真度。具体的性能数据和对比基线需要在论文中查找，但总体趋势是该方法在保持攻击效果的同时，提升了视觉质量。

🎯 应用场景

该研究成果可应用于提高深度学习模型的安全性，评估模型在对抗环境下的鲁棒性。此外，该方法可以用于生成更逼真的图像编辑和增强效果，例如，通过指定文本描述来修改图像内容。在自动驾驶、医疗影像分析等安全攸关领域，对抗攻击防御技术至关重要。

📄 摘要（原文）

The rapid growth of deep learning has brought about powerful models that can handle various tasks, like identifying images and understanding language. However, adversarial attacks, an unnoticed alteration, can deceive models, leading to inaccurate predictions. In this paper, a generative adversarial attack method is proposed that uses the CLIP model to create highly effective and visually imperceptible adversarial perturbations. The CLIP model's ability to align text and image representation helps incorporate natural language semantics with a guided loss to generate effective adversarial examples that look identical to the original inputs. This integration allows extensive scene manipulation, creating perturbations in multi-object environments specifically designed to deceive multilabel classifiers. Our approach integrates the concentrated perturbation strategy from Saliency-based Auto-Encoder (SSAE) with the dissimilar text embeddings similar to Generative Adversarial Multi-Object Scene Attacks (GAMA), resulting in perturbations that both deceive classification models and maintain high structural similarity to the original images. The model was tested on various tasks across diverse black-box victim models. The experimental results show that our method performs competitively, achieving comparable or superior results to existing techniques, while preserving greater visual fidelity.