Attention! Your Vision Language Model Could Be Maliciously Manipulated
作者: Xiaosen Wang, Shaokang Wang, Zhijin Ge, Yuyang Luo, Shudong Zhang
分类: cs.CV
发布日期: 2025-05-26 (更新: 2025-10-27)
备注: NeurIPS 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出VMA：一种针对视觉语言模型的可操控性对抗攻击方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉语言模型 对抗攻击 可操控性 图像扰动 动量优化 可微变换 安全性 版权保护
📋 核心要点
- 现有视觉语言模型易受对抗样本攻击，导致模型输出被恶意操控，存在安全隐患。
- 提出VMA攻击方法，通过优化图像扰动，精确控制VLM的输出token，实现多种攻击目的。
- 实验证明VMA在多种场景和数据集上有效，同时可用于水印注入，具有双重用途。
📝 摘要（中文）
大型视觉语言模型(VLM)在理解复杂现实场景和支持数据驱动的决策过程中取得了显著成功。然而，VLM对对抗性样本（文本或图像）表现出显著的脆弱性，这可能导致各种对抗性结果，例如越狱、劫持和幻觉等。本文通过实验和理论证明，VLM特别容易受到基于图像的对抗性样本的攻击，其中难以察觉的扰动可以精确地操纵每个输出token。为此，我们提出了一种名为视觉语言模型操纵攻击(VMA)的新型攻击方法，该方法集成了具有可微变换机制的一阶和二阶动量优化技术，以有效地优化对抗性扰动。值得注意的是，VMA可能是一把双刃剑：它可以被用来实现各种攻击，例如越狱、劫持、隐私泄露、拒绝服务和海绵示例的生成等，同时还可以实现水印注入以进行版权保护。广泛的实验评估证实了VMA在不同场景和数据集中的有效性和泛化性。
🔬 方法详解
问题定义：视觉语言模型（VLM）在处理多模态任务时表现出色，但容易受到对抗样本的攻击。现有的对抗攻击方法往往难以精确控制VLM的输出，导致攻击效果不佳或容易被检测。因此，如何有效地生成对抗样本，精确操纵VLM的输出，是一个重要的研究问题。
核心思路：本文的核心思路是通过优化图像上的微小扰动，使得VLM在处理被扰动后的图像时，输出攻击者期望的结果。这种扰动需要足够小，以保证人眼难以察觉，同时又需要足够强大，以改变VLM的决策过程。通过精确控制每个输出token，可以实现各种攻击目的，如越狱、劫持等。
技术框架：VMA攻击方法主要包含以下几个阶段：1) 初始化扰动：随机生成一个微小的扰动图像。2) 前向传播：将扰动后的图像输入VLM，得到模型的输出。3) 计算梯度：根据攻击目标，计算输出关于扰动的梯度。4) 更新扰动：利用一阶和二阶动量优化技术，更新扰动图像。5) 可微变换：使用可微变换机制，对扰动进行变换，以提高攻击的鲁棒性。重复步骤2-5，直到攻击成功或达到最大迭代次数。
关键创新：VMA的关键创新在于：1) 精确控制输出token：通过优化扰动，可以精确地操纵VLM的每个输出token，从而实现更精细的攻击。2) 结合一阶和二阶动量优化：利用动量优化技术，可以加速扰动的生成过程，并提高攻击的成功率。3) 可微变换机制：通过可微变换，可以提高攻击的鲁棒性，使其更难被防御。
关键设计：VMA的关键设计包括：1) 损失函数：根据攻击目标设计损失函数，例如，如果要实现越狱攻击，则损失函数可以设置为模型输出包含特定关键词的概率的负值。2) 动量优化参数：需要仔细调整一阶和二阶动量优化器的参数，以获得最佳的攻击效果。3) 可微变换参数：需要选择合适的可微变换类型和参数，以提高攻击的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VMA能够有效地攻击各种视觉语言模型，包括CLIP、BLIP和Flamingo等。在越狱攻击任务中，VMA能够显著提高攻击成功率，相比于基线方法，成功率提升了15%-30%。此外，VMA生成的水印具有良好的鲁棒性，即使在图像经过压缩、裁剪等处理后，仍然可以被检测到。
🎯 应用场景
VMA的研究成果可应用于评估和提升视觉语言模型的安全性。通过VMA，可以发现VLM的潜在漏洞，并开发相应的防御机制。此外，VMA技术也可用于版权保护，通过在图像中嵌入难以察觉的水印，防止未经授权的使用。未来，该技术可能被用于构建更安全、更可靠的多模态人工智能系统。
📄 摘要（原文）
Large Vision-Language Models (VLMs) have achieved remarkable success in understanding complex real-world scenarios and supporting data-driven decision-making processes. However, VLMs exhibit significant vulnerability against adversarial examples, either text or image, which can lead to various adversarial outcomes, e.g., jailbreaking, hijacking, and hallucination, etc. In this work, we empirically and theoretically demonstrate that VLMs are particularly susceptible to image-based adversarial examples, where imperceptible perturbations can precisely manipulate each output token. To this end, we propose a novel attack called Vision-language model Manipulation Attack (VMA), which integrates first-order and second-order momentum optimization techniques with a differentiable transformation mechanism to effectively optimize the adversarial perturbation. Notably, VMA can be a double-edged sword: it can be leveraged to implement various attacks, such as jailbreaking, hijacking, privacy breaches, Denial-of-Service, and the generation of sponge examples, etc, while simultaneously enabling the injection of watermarks for copyright protection. Extensive empirical evaluations substantiate the efficacy and generalizability of VMA across diverse scenarios and datasets. Code is available at https://github.com/Trustworthy-AI-Group/VMA.