Transfer Attack for Bad and Good: Explain and Boost Adversarial Transferability across Multimodal Large Language Models

📄 arXiv: 2405.20090v5 📥 PDF

作者: Hao Cheng, Erjia Xiao, Jiayan Yang, Jinhao Duan, Yichi Wang, Jiahang Cao, Qiang Zhang, Le Yang, Kaidi Xu, Jindong Gu, Renjing Xu

分类: cs.CV

发布日期: 2024-05-30 (更新: 2025-07-21)

备注: This paper is accepted by ACM MM 2025

💡 一句话要点

提出对抗性转移攻击方法以提升多模态大语言模型的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对抗性攻击 多模态大语言模型 数据增强 转移性 信息保护

📋 核心要点

  1. 现有多模态大语言模型在对抗性攻击下表现脆弱，尤其是对抗样本的转移性不足，影响其安全性。
  2. 本文提出了两种数据增强方法，通过语义级别的处理来提升对抗样本在不同模型间的转移性。
  3. 实验结果表明，所提方法显著提升了对抗样本的转移性，并在有害内容插入和信息保护任务中展现出实际应用价值。

📝 摘要（中文）

多模态大语言模型（MLLMs）在跨模态交互中表现出色，但也存在对抗性脆弱性，尤其是对抗样本的转移性仍然是一个挑战。本文分析了MLLMs中对抗性转移性的表现，并识别出影响这一特性的关键因素。研究发现，在具有相同视觉编码器的跨LLM场景中，MLLMs的对抗性转移性是存在的。为此，提出了两种语义级数据增强方法：图像补丁添加（AIP）和排版增强转移方法（TATM），以提升对抗样本在MLLMs之间的转移性。为探讨其在现实世界中的潜在影响，研究利用了可能产生负面和正面社会影响的两个任务：有害内容插入和信息保护。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在对抗性攻击下的转移性不足问题。现有方法在不同模型间的对抗样本转移性较低，导致模型在实际应用中面临安全隐患。

核心思路：通过分析影响对抗性转移性的关键因素，提出图像补丁添加（AIP）和排版增强转移方法（TATM），以增强对抗样本的语义一致性，从而提升其在不同模型间的转移性。

技术框架：研究首先识别影响对抗性转移性的因素，然后设计两种数据增强方法，最后通过实验验证其在有害内容插入和信息保护任务中的有效性。

关键创新：本文的主要创新在于提出了两种新的数据增强方法，AIP和TATM，能够有效提升对抗样本的转移性，这在现有文献中尚未得到充分探讨。

关键设计：在AIP中，通过添加图像补丁来增强输入数据的多样性；在TATM中，通过排版调整来改变文本的视觉表现。这些设计旨在提高对抗样本的语义一致性，从而增强其转移性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的AIP和TATM方法显著提升了对抗样本的转移性。在有害内容插入任务中，转移成功率提高了约30%，而在信息保护任务中，模型的鲁棒性也得到了显著增强，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括网络安全、内容审核和信息保护等。通过提升多模态大语言模型的对抗性转移性，可以有效防止有害内容的插入，并增强信息保护措施，从而在实际应用中提高社会安全性。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) demonstrate exceptional performance in cross-modality interaction, yet they also suffer adversarial vulnerabilities. In particular, the transferability of adversarial examples remains an ongoing challenge. In this paper, we specifically analyze the manifestation of adversarial transferability among MLLMs and identify the key factors that influence this characteristic. We discover that the transferability of MLLMs exists in cross-LLM scenarios with the same vision encoder and indicate \underline{\textit{two key Factors}} that may influence transferability. We provide two semantic-level data augmentation methods, Adding Image Patch (AIP) and Typography Augment Transferability Method (TATM), which boost the transferability of adversarial examples across MLLMs. To explore the potential impact in the real world, we utilize two tasks that can have both negative and positive societal impacts: \ding{182} Harmful Content Insertion and \ding{183} Information Protection.