TrojVLM: Backdoor Attack Against Vision Language Models

📄 arXiv: 2409.19232v1 📥 PDF

作者: Weimin Lyu, Lu Pang, Tengfei Ma, Haibin Ling, Chao Chen

分类: cs.CV

发布日期: 2024-09-28

备注: ECCV 2024

💡 一句话要点

TrojVLM：针对视觉语言模型的后门攻击研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 后门攻击 图像到文本生成 语义保持损失 多模态安全

📋 核心要点

  1. 现有方法在多模态模型，特别是视觉语言模型（VLM）的安全性方面关注不足，缺乏针对图像到文本生成任务的后门攻击研究。
  2. TrojVLM通过在被污染图像中触发预设目标文本的生成，并结合语义保持损失，在保证原始语义的同时实现后门攻击。
  3. 实验证明TrojVLM在图像描述和视觉问答任务中有效，能够在维持图像语义的同时，触发特定的目标文本输出。

📝 摘要（中文）

视觉语言模型（VLM）的出现是计算机视觉与大型语言模型（LLM）集成的重要进展，能够根据视觉输入生成详细的文本描述，但也引入了新的安全漏洞。与以往专注于单一模态或分类任务的工作不同，本研究首次探索了针对VLM的后门攻击，称为TrojVLM，目标是进行复杂的图像到文本生成。具体而言，TrojVLM在遇到被污染的图像时，会将预定的目标文本插入到输出文本中。此外，论文提出了一种新颖的语义保持损失，以确保原始图像内容的语义完整性。在图像描述和视觉问答（VQA）任务上的评估证实了TrojVLM在保持原始语义内容的同时触发特定目标文本输出的有效性。这项研究不仅揭示了VLM和图像到文本生成中一个关键的安全风险，也为未来研究如何保护多模态模型免受此类复杂威胁奠定了基础。

🔬 方法详解

问题定义：论文旨在解决视觉语言模型（VLM）在图像到文本生成任务中存在的后门攻击漏洞问题。现有方法主要集中在单模态或分类任务的后门攻击，缺乏对VLM这种复杂多模态模型的深入研究，尤其是在图像到文本生成任务中，如何隐蔽地植入后门并触发特定文本输出是一个挑战。

核心思路：论文的核心思路是在训练数据中引入少量被污染的图像，这些图像包含特定的触发器（trigger）。当VLM遇到带有触发器的图像时，就会生成包含预设目标文本的描述，从而实现后门攻击。为了保证攻击的隐蔽性，论文还引入了语义保持损失，确保模型在生成目标文本的同时，尽可能保留原始图像的语义信息。

技术框架：TrojVLM的整体框架主要包括以下几个阶段：1) 数据污染：在训练集中选择少量图像，并添加特定的触发器，同时设定对应的目标文本。2) 模型训练：使用包含被污染图像的训练集训练VLM模型，同时使用语义保持损失来约束模型的输出。3) 后门触发：在测试阶段，当VLM遇到带有触发器的图像时，模型会生成包含目标文本的描述。

关键创新：论文的关键创新在于首次将后门攻击应用于视觉语言模型的图像到文本生成任务，并提出了一种新的语义保持损失函数。该损失函数能够有效地平衡后门攻击的成功率和原始图像语义的保留程度，使得攻击更加隐蔽和难以检测。

关键设计：语义保持损失是关键设计之一。具体来说，该损失函数通过比较模型在输入原始图像和被污染图像时生成的文本描述的相似度来实现。论文可能使用了诸如余弦相似度或BLEU分数等指标来衡量文本描述的相似度。此外，触发器的选择和目标文本的设计也是关键，需要保证触发器在图像中不显眼，并且目标文本与图像内容有一定的关联性，以避免引起用户的怀疑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TrojVLM在图像描述和视觉问答任务上进行了评估，实验结果表明，该方法能够在保持原始图像语义内容的同时，成功触发特定的目标文本输出。具体的性能数据（如攻击成功率、语义相似度等）和与基线方法的对比结果（如无后门攻击的模型）将进一步说明TrojVLM的有效性和优越性。攻击成功率是关键指标。

🎯 应用场景

该研究揭示了视觉语言模型在安全方面存在的潜在风险，为开发更安全的VLM系统提供了重要的参考。其研究成果可应用于评估和增强现有VLM系统的安全性，并指导未来VLM系统的设计，使其能够抵御恶意攻击。此外，该研究也为其他多模态模型的安全性研究提供了借鉴。

📄 摘要（原文）

The emergence of Vision Language Models (VLMs) is a significant advancement in integrating computer vision with Large Language Models (LLMs) to produce detailed text descriptions based on visual inputs, yet it introduces new security vulnerabilities. Unlike prior work that centered on single modalities or classification tasks, this study introduces TrojVLM, the first exploration of backdoor attacks aimed at VLMs engaged in complex image-to-text generation. Specifically, TrojVLM inserts predetermined target text into output text when encountering poisoned images. Moreover, a novel semantic preserving loss is proposed to ensure the semantic integrity of the original image content. Our evaluation on image captioning and visual question answering (VQA) tasks confirms the effectiveness of TrojVLM in maintaining original semantic content while triggering specific target text outputs. This study not only uncovers a critical security risk in VLMs and image-to-text generation but also sets a foundation for future research on securing multimodal models against such sophisticated threats.