Contextual Image Attack: How Visual Context Exposes Multimodal Safety Vulnerabilities

📄 arXiv: 2512.02973v1 📥 PDF

作者: Yuan Xiong, Ziqi Miao, Lijun Li, Chen Qian, Jie Li, Jing Shao

分类: cs.CV, cs.CL, cs.CR

发布日期: 2025-12-02

💡 一句话要点

提出上下文图像攻击方法以解决多模态安全漏洞问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 安全性攻击 图像处理 上下文信息 对抗性攻击 网络安全 人工智能

📋 核心要点

  1. 现有的攻击方法主要集中在文本与图像的交互上，未能充分利用图像的上下文信息，导致安全性不足。
  2. 本文提出的上下文图像攻击（CIA）方法，通过多代理系统将有害查询嵌入视觉上下文，提升了攻击的隐蔽性和有效性。
  3. 实验结果显示，CIA在多个模型上取得了显著的攻击成功率，超越了以往的攻击方法，证明了视觉模态的潜力。

📝 摘要（中文）

尽管多模态大型语言模型（MLLMs）展现出卓越的能力，但其安全性对越狱攻击仍然敏感。现有攻击方法通常侧重于文本与图像的相互作用，将视觉模态视为次要提示。这种方法未能充分利用图像承载复杂上下文信息的独特潜力。为此，本文提出了一种新的以图像为中心的攻击方法——上下文图像攻击（CIA），该方法通过多代理系统将有害查询巧妙地嵌入看似无害的视觉上下文中，并采用四种不同的可视化策略。实验结果表明，CIA在MMSafetyBench-tiny数据集上对GPT-4o和Qwen2.5-VL-72B模型的攻击成功率分别达到86.31%和91.07%。

🔬 方法详解

问题定义：本文旨在解决多模态大型语言模型（MLLMs）在安全性方面的脆弱性，现有方法未能有效利用图像的上下文信息，导致攻击效果不佳。

核心思路：提出上下文图像攻击（CIA）方法，利用多代理系统将有害查询嵌入看似无害的视觉上下文中，充分发挥图像的复杂信息承载能力。

技术框架：CIA方法包括四个主要模块：图像上下文生成、查询嵌入、上下文元素增强和自动毒性模糊化。通过这些模块的协同工作，提升攻击的隐蔽性和成功率。

关键创新：最重要的创新在于将视觉模态作为攻击的主要载体，而非辅助提示，显著提高了攻击的有效性和成功率。

关键设计：在设计中，采用了多种可视化策略和上下文元素增强技术，确保嵌入的查询在视觉上保持无害，同时通过自动毒性模糊化技术降低被检测的风险。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，上下文图像攻击（CIA）在MMSafetyBench-tiny数据集上对GPT-4o和Qwen2.5-VL-72B模型的攻击成功率分别达到86.31%和91.07%，显示出显著的性能提升，超越了以往的攻击方法，证明了视觉模态的强大潜力。

🎯 应用场景

该研究的潜在应用领域包括网络安全、人工智能模型的安全性评估以及对抗性攻击的防御策略开发。通过深入理解多模态模型的脆弱性，可以为未来的安全性设计提供重要的参考和指导，提升人工智能系统的鲁棒性。

📄 摘要（原文）

While Multimodal Large Language Models (MLLMs) show remarkable capabilities, their safety alignments are susceptible to jailbreak attacks. Existing attack methods typically focus on text-image interplay, treating the visual modality as a secondary prompt. This approach underutilizes the unique potential of images to carry complex, contextual information. To address this gap, we propose a new image-centric attack method, Contextual Image Attack (CIA), which employs a multi-agent system to subtly embeds harmful queries into seemingly benign visual contexts using four distinct visualization strategies. To further enhance the attack's efficacy, the system incorporate contextual element enhancement and automatic toxicity obfuscation techniques. Experimental results on the MMSafetyBench-tiny dataset show that CIA achieves high toxicity scores of 4.73 and 4.83 against the GPT-4o and Qwen2.5-VL-72B models, respectively, with Attack Success Rates (ASR) reaching 86.31\% and 91.07\%. Our method significantly outperforms prior work, demonstrating that the visual modality itself is a potent vector for jailbreaking advanced MLLMs.