A Unified Understanding of Adversarial Vulnerability Regarding Unimodal Models and Vision-Language Pre-training Models

📄 arXiv: 2407.17797v1 📥 PDF

作者: Haonan Zheng, Xinyang Deng, Wen Jiang, Wenrui Li

分类: cs.CV, cs.AI

发布日期: 2024-07-25

备注: 14 pages, 9 figures, published in ACMMM2024(oral)

💡 一句话要点

提出特征引导攻击FGA及其改进FGA-T，用于评估和提升视觉-语言预训练模型的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言预训练 对抗攻击 鲁棒性 特征引导 多模态学习

📋 核心要点

  1. VLP模型安全性研究不足，现有单模态攻击方法难以直接应用，需要针对VLP模型特性设计新的攻击方法。
  2. 提出FGA利用文本信息引导图像扰动，生成对抗样本；FGA-T结合文本攻击，增强了攻击效果，并提升了黑盒可迁移性。
  3. 实验表明，FGA及FGA-T在多种数据集和任务上均表现出有效的攻击能力，为VLP模型鲁棒性评估提供基线。

📝 摘要（中文）

随着视觉-语言预训练(VLP)模型展示出强大的多模态交互能力，神经网络的应用场景不再局限于单模态领域，而是扩展到更复杂的多模态视觉+语言下游任务。单模态模型的安全漏洞已被广泛研究，而VLP模型的漏洞仍然具有挑战性。我们注意到，在CV模型中，对图像的理解来自标注信息，而VLP模型旨在直接从原始文本中学习图像表示。受此差异的启发，我们开发了特征引导攻击(FGA)，这是一种新颖的方法，它使用文本表示来指导干净图像的扰动，从而生成对抗图像。FGA与单模态领域中的许多高级攻击策略正交，从而有助于将单模态的丰富研究成果直接应用于多模态场景。通过适当地将文本攻击引入FGA，我们构建了带有文本攻击的特征引导(FGA-T)。通过攻击两种模态的交互，FGA-T实现了对VLP模型的卓越攻击效果。此外，结合数据增强和动量机制显着提高了FGA-T的黑盒可迁移性。我们的方法在各种数据集、下游任务以及黑盒和白盒设置中都表现出稳定有效的攻击能力，为探索VLP模型的鲁棒性提供了一个统一的基线。

🔬 方法详解

问题定义：论文旨在解决视觉-语言预训练(VLP)模型在对抗攻击下的脆弱性问题。现有的针对单模态模型的对抗攻击方法难以直接应用于VLP模型，因为VLP模型依赖于图像和文本之间的复杂交互，而单模态攻击方法通常只针对图像或文本进行扰动。此外，VLP模型从原始文本中学习图像表示的方式与传统的CV模型不同，这也使得针对CV模型的攻击方法在VLP模型上效果不佳。

核心思路：论文的核心思路是利用文本模态的信息来引导图像模态的扰动，从而生成更有效的对抗样本。具体来说，论文提出了一种名为特征引导攻击(FGA)的方法，该方法使用文本表示来指导干净图像的扰动，使得生成的对抗图像能够欺骗VLP模型。此外，论文还提出了带有文本攻击的特征引导(FGA-T)方法，通过同时攻击图像和文本模态，进一步增强了攻击效果。

技术框架：FGA和FGA-T的整体框架包括以下几个主要步骤：1) 获取干净图像和对应的文本描述；2) 使用预训练的VLP模型提取文本特征；3) 使用文本特征引导图像扰动，生成对抗图像；4) (FGA-T) 对文本描述进行扰动，生成对抗文本；5) 将对抗图像和对抗文本输入VLP模型，评估攻击效果。FGA-T在FGA的基础上增加了文本攻击模块，通过联合攻击图像和文本模态，提高了攻击的成功率。

关键创新：论文的关键创新在于提出了利用文本信息引导图像扰动的思想。与传统的图像对抗攻击方法不同，FGA充分利用了VLP模型的多模态特性，通过文本模态的信息来指导图像扰动，从而生成更具有针对性的对抗样本。此外，FGA-T通过联合攻击图像和文本模态，进一步增强了攻击效果，并提高了黑盒可迁移性。

关键设计：FGA的关键设计在于如何利用文本特征来引导图像扰动。论文采用了一种基于梯度的优化方法，通过计算文本特征对图像像素的梯度，来确定图像扰动的方向和大小。FGA-T的关键设计在于如何平衡图像攻击和文本攻击的强度，以达到最佳的攻击效果。论文通过实验发现，适当地调整图像攻击和文本攻击的权重，可以显著提高攻击的成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FGA和FGA-T在多个数据集和下游任务上均表现出有效的攻击能力。例如，在视觉问答任务上，FGA-T的攻击成功率比基线方法提高了10%以上。此外，FGA-T还具有良好的黑盒可迁移性，可以在不同的VLP模型之间进行迁移攻击，这表明该方法具有一定的通用性。

🎯 应用场景

该研究成果可应用于评估和提升视觉-语言预训练模型的鲁棒性，帮助开发者构建更安全的VLP模型。此外，该方法还可以用于检测和防御针对VLP模型的对抗攻击，例如在图像检索、视觉问答等应用中，防止恶意用户利用对抗样本进行攻击。未来，该研究可以扩展到其他多模态模型和任务中，提高多模态人工智能系统的安全性。

📄 摘要（原文）

With Vision-Language Pre-training (VLP) models demonstrating powerful multimodal interaction capabilities, the application scenarios of neural networks are no longer confined to unimodal domains but have expanded to more complex multimodal V+L downstream tasks. The security vulnerabilities of unimodal models have been extensively examined, whereas those of VLP models remain challenging. We note that in CV models, the understanding of images comes from annotated information, while VLP models are designed to learn image representations directly from raw text. Motivated by this discrepancy, we developed the Feature Guidance Attack (FGA), a novel method that uses text representations to direct the perturbation of clean images, resulting in the generation of adversarial images. FGA is orthogonal to many advanced attack strategies in the unimodal domain, facilitating the direct application of rich research findings from the unimodal to the multimodal scenario. By appropriately introducing text attack into FGA, we construct Feature Guidance with Text Attack (FGA-T). Through the interaction of attacking two modalities, FGA-T achieves superior attack effects against VLP models. Moreover, incorporating data augmentation and momentum mechanisms significantly improves the black-box transferability of FGA-T. Our method demonstrates stable and effective attack capabilities across various datasets, downstream tasks, and both black-box and white-box settings, offering a unified baseline for exploring the robustness of VLP models.