PG-Attack: A Precision-Guided Adversarial Attack Framework Against Vision Foundation Models for Autonomous Driving

📄 arXiv: 2407.13111v1 📥 PDF

作者: Jiyuan Fu, Zhaoyu Chen, Kaixun Jiang, Haijing Guo, Shuyong Gao, Wenqiang Zhang

分类: cs.MM, cs.CV

发布日期: 2024-07-18

备注: First-Place in the CVPR 2024 Workshop Challenge: Black-box Adversarial Attacks on Vision Foundation Models

🔗 代码/项目: GITHUB

💡 一句话要点

PG-Attack：面向自动驾驶视觉基础模型的精确制导对抗攻击框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗攻击 视觉基础模型 自动驾驶 多模态学习 文本补丁攻击 精确制导 模型安全性

📋 核心要点

  1. 自动驾驶系统依赖的视觉基础模型易受对抗攻击，攻击可能导致车辆对环境产生错误感知，威胁安全。
  2. PG-Attack框架结合精确掩码扰动攻击（PMP-Attack）和欺骗性文本补丁攻击（DTP-Attack），提升攻击效果。
  3. 实验证明PG-Attack能有效欺骗GPT-4V等多种多模态大模型，并在CVPR 2024对抗攻击挑战赛中获得第一名。

📝 摘要（中文）

视觉基础模型因其先进能力而被越来越多地应用于自动驾驶系统。然而，这些模型容易受到对抗性攻击，对自动驾驶车辆的可靠性和安全性构成重大风险。攻击者可以利用这些漏洞来操纵车辆对其周围环境的感知，从而导致错误的决策和潜在的灾难性后果。为了应对这一挑战，我们提出了一种新颖的精确制导对抗攻击（PG-Attack）框架，该框架结合了两种技术：精确掩码扰动攻击（PMP-Attack）和欺骗性文本补丁攻击（DTP-Attack）。PMP-Attack 精确地定位攻击区域，以最大限度地减少整体扰动，同时最大限度地提高其对模型特征空间中目标对象表示的影响。DTP-Attack 引入了欺骗性文本补丁，扰乱模型对场景的理解，进一步增强了攻击的有效性。我们的实验表明，PG-Attack 成功地欺骗了各种先进的多模态大型模型，包括 GPT-4V、Qwen-VL 和 imp-V1。此外，我们在 CVPR 2024 Workshop Challenge: Black-box Adversarial Attacks on Vision Foundation Models 中获得了第一名，代码可在 https://github.com/fuhaha824/PG-Attack 获取。

🔬 方法详解

问题定义：论文旨在解决视觉基础模型在自动驾驶场景下容易受到对抗攻击的问题。现有方法通常采用全局扰动，效率较低且容易被检测。此外，现有方法较少关注多模态模型，特别是文本模态的攻击手段。

核心思路：PG-Attack的核心思路是精确制导，即通过PMP-Attack精确定位并扰动对目标对象识别影响最大的区域，同时利用DTP-Attack引入欺骗性文本补丁，干扰模型对场景的整体理解。这种结合能够更有效地欺骗模型，同时保持扰动的不可察觉性。

技术框架：PG-Attack框架包含两个主要模块：PMP-Attack和DTP-Attack。PMP-Attack首先通过某种方式（具体方法未知）确定图像中对目标对象识别至关重要的区域，然后对这些区域施加对抗扰动。DTP-Attack则是在图像中插入精心设计的文本补丁，这些文本补丁旨在误导模型对场景的语义理解。这两个模块协同工作，共同增强攻击效果。

关键创新：PG-Attack的关键创新在于其精确制导的攻击策略，以及将图像扰动和文本欺骗相结合的多模态攻击方式。与传统的全局扰动方法相比，PG-Attack能够以更小的扰动实现更高的攻击成功率。同时，DTP-Attack的引入使得攻击能够影响模型的整体场景理解，而不仅仅是目标对象的识别。

关键设计：PMP-Attack的关键设计在于如何确定需要扰动的关键区域，具体方法未知。DTP-Attack的关键设计在于如何生成具有欺骗性的文本补丁，使其能够有效地干扰模型的场景理解，具体实现细节未知。论文中可能涉及对抗样本生成中的损失函数设计，以及对抗训练相关的参数设置，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PG-Attack成功欺骗了包括GPT-4V、Qwen-VL和imp-V1在内的多种先进多模态大型模型，证明了其在对抗视觉基础模型方面的有效性。该方法在CVPR 2024 Workshop Challenge: Black-box Adversarial Attacks on Vision Foundation Models 中获得第一名，进一步验证了其优越性能。

🎯 应用场景

该研究成果可应用于评估和提升自动驾驶系统的安全性，通过对抗攻击发现模型的脆弱点，从而开发更鲁棒的防御机制。此外，该方法也可用于评估其他视觉基础模型在安全关键领域的可靠性，例如医疗诊断和安防监控。

📄 摘要（原文）

Vision foundation models are increasingly employed in autonomous driving systems due to their advanced capabilities. However, these models are susceptible to adversarial attacks, posing significant risks to the reliability and safety of autonomous vehicles. Adversaries can exploit these vulnerabilities to manipulate the vehicle's perception of its surroundings, leading to erroneous decisions and potentially catastrophic consequences. To address this challenge, we propose a novel Precision-Guided Adversarial Attack (PG-Attack) framework that combines two techniques: Precision Mask Perturbation Attack (PMP-Attack) and Deceptive Text Patch Attack (DTP-Attack). PMP-Attack precisely targets the attack region to minimize the overall perturbation while maximizing its impact on the target object's representation in the model's feature space. DTP-Attack introduces deceptive text patches that disrupt the model's understanding of the scene, further enhancing the attack's effectiveness. Our experiments demonstrate that PG-Attack successfully deceives a variety of advanced multi-modal large models, including GPT-4V, Qwen-VL, and imp-V1. Additionally, we won First-Place in the CVPR 2024 Workshop Challenge: Black-box Adversarial Attacks on Vision Foundation Models and codes are available at https://github.com/fuhaha824/PG-Attack.