Safe + Safe = Unsafe? Exploring How Safe Images Can Be Exploited to Jailbreak Large Vision-Language Models

📄 arXiv: 2411.11496v3 📥 PDF

作者: Chenhang Cui, Gelei Deng, An Zhang, Jingnan Zheng, Yicong Li, Lianli Gao, Tianwei Zhang, Tat-Seng Chua

分类: cs.CL

发布日期: 2024-11-18 (更新: 2024-11-28)

🔗 代码/项目: GITHUB

💡 一句话要点

提出安全雪球代理以破解大型视觉语言模型的安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 安全性 多模态推理 图像破解 安全雪球代理 生成模型 内容审核

📋 核心要点

  1. 核心问题：现有研究主要集中在通过精心设计的图像破解来诱导LVLMs生成有害响应，未能充分考虑安全图像的潜在利用。
  2. 方法要点：提出安全雪球代理（SSA），利用代理的自主性和工具使用能力，通过两个阶段实现对LVLMs的破解。
  3. 实验或效果：实验表明，SSA能够使用几乎任何图像诱导LVLMs生成不安全内容，破解成功率显著提升。

📝 摘要（中文）

近年来，大型视觉语言模型（LVLMs）在多模态推理能力上取得了显著进展，广泛应用于多个领域。然而，LVLMs的安全防护可能无法涵盖视觉模态引入的意外领域。本研究揭示了安全图像与其他安全图像和提示结合时，仍可被利用以实现破解。基于LVLMs的普遍推理能力和安全雪球效应，我们提出了安全雪球代理（SSA），该框架通过自主代理和工具使用能力来破解LVLMs。SSA包括两个主要阶段：初始响应生成和有害雪球化。实验表明，SSA能够利用几乎任何图像诱导LVLMs生成不安全内容，破解成功率高，提出了对生成多模态系统安全性的深刻挑战。

🔬 方法详解

问题定义：本研究旨在解决大型视觉语言模型（LVLMs）在安全性方面的不足，尤其是如何利用安全图像进行破解。现有方法主要依赖于对齐缺陷，未能充分利用LVLMs的内在特性。

核心思路：论文的核心思路是通过安全雪球代理（SSA）框架，利用LVLMs的普遍推理能力和安全雪球效应，结合安全图像和提示进行有效的破解。

技术框架：SSA的整体架构分为两个主要阶段：初始响应生成阶段，工具生成或检索潜在有害意图的破解图像；有害雪球化阶段，通过精炼的后续提示诱导逐步生成有害输出。

关键创新：最重要的技术创新在于SSA框架的提出，它不同于以往利用对齐缺陷的破解方法，而是利用LVLMs的内在推理能力，形成新的破解策略。

关键设计：在设计上，SSA采用了多种工具生成机制，结合不同的提示策略，以提高诱导有害内容的成功率，具体参数设置和损失函数设计待进一步详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，安全雪球代理（SSA）能够利用几乎任何图像诱导LVLMs生成不安全内容，破解成功率显著提高，尤其是在最新的LVLMs上，成功率达到较高水平，展示了其在安全性挑战中的有效性。

🎯 应用场景

该研究的潜在应用领域包括安全性测试、内容审核和多模态生成系统的安全防护。通过深入理解LVLMs的安全漏洞，能够为未来的模型设计提供重要的安全指导，减少潜在的滥用风险。

📄 摘要（原文）

Recent advances in Large Vision-Language Models (LVLMs) have showcased strong reasoning abilities across multiple modalities, achieving significant breakthroughs in various real-world applications. Despite this great success, the safety guardrail of LVLMs may not cover the unforeseen domains introduced by the visual modality. Existing studies primarily focus on eliciting LVLMs to generate harmful responses via carefully crafted image-based jailbreaks designed to bypass alignment defenses. In this study, we reveal that a safe image can be exploited to achieve the same jailbreak consequence when combined with additional safe images and prompts. This stems from two fundamental properties of LVLMs: universal reasoning capabilities and safety snowball effect. Building on these insights, we propose Safety Snowball Agent (SSA), a novel agent-based framework leveraging agents' autonomous and tool-using abilities to jailbreak LVLMs. SSA operates through two principal stages: (1) initial response generation, where tools generate or retrieve jailbreak images based on potential harmful intents, and (2) harmful snowballing, where refined subsequent prompts induce progressively harmful outputs. Our experiments demonstrate that \ours can use nearly any image to induce LVLMs to produce unsafe content, achieving high success jailbreaking rates against the latest LVLMs. Unlike prior works that exploit alignment flaws, \ours leverages the inherent properties of LVLMs, presenting a profound challenge for enforcing safety in generative multimodal systems. Our code is avaliable at \url{https://github.com/gzcch/Safety_Snowball_Agent}.