Learning To See But Forgetting To Follow: Visual Instruction Tuning Makes LLMs More Prone To Jailbreak Attacks

📄 arXiv: 2405.04403v1 📥 PDF

作者: Georgios Pantazopoulos, Amit Parekh, Malvina Nikandrou, Alessandro Suglia

分类: cs.CV, cs.CL

发布日期: 2024-05-07

💡 一句话要点

视觉指令调优使LLM更易受攻击，损害了其安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 jailbreaking攻击 安全性 指令调优 大型语言模型

📋 核心要点

  1. 现有VLM安全性研究不足，缺乏对jailbreaking攻击的深入分析。
  2. 研究表明，视觉指令调优可能导致LLM忘记安全准则，增加VLM的脆弱性。
  3. 论文通过实验评估了三种VLM，并提出了改进VLM安全性的建议。

📝 摘要（中文）

将大型语言模型（LLM）与图像理解能力相结合，催生了高性能的视觉语言模型（VLM）。虽然LLM与人类价值观的对齐受到了广泛关注，但VLM的安全性却没有得到同等重视。本文探讨了jailbreaking对三种最先进的VLM的影响，每种VLM都使用不同的建模方法。通过将每个VLM与其各自的LLM骨干进行比较，我们发现每个VLM更容易受到jailbreaking攻击。我们认为这是视觉指令调优的一个不良结果，它对LLM的安全防护措施产生了遗忘效应。因此，我们为未来的工作提供了建议，包括旨在突出VLM弱点的评估策略，以及在视觉指令调优期间考虑安全措施。

🔬 方法详解

问题定义：论文旨在研究视觉语言模型（VLM）相比其对应的纯语言模型（LLM）骨干网络，在面对jailbreaking攻击时是否更加脆弱。现有方法主要关注LLM的安全性，而忽略了视觉指令调优对VLM安全性的潜在负面影响，即可能导致LLM的安全防护机制被“遗忘”。

核心思路：核心思路是对比VLM和其LLM骨干网络在面对相同jailbreaking攻击时的表现，通过实验数据来验证视觉指令调优是否会降低模型的安全性。如果VLM更容易被jailbreak，则说明视觉指令调优可能引入了安全漏洞。

技术框架：论文选取了三种不同的VLM架构，每种架构都基于一个LLM骨干网络。然后，针对这些VLM和LLM骨干网络设计了一系列jailbreaking攻击prompt。最后，通过比较VLM和LLM在这些攻击prompt下的输出，来评估VLM的安全性。整体流程包括：选择VLM架构 -> 设计jailbreaking prompt -> 执行攻击 -> 评估结果。

关键创新：论文的关键创新在于发现了视觉指令调优可能导致LLM“遗忘”安全准则，从而使VLM更容易受到jailbreaking攻击。这是对VLM安全性研究的一个重要补充，并提出了对视觉指令调优过程进行安全加固的需求。

关键设计：论文的关键设计包括：1) 选择了三种具有代表性的VLM架构，以保证实验结果的泛化性；2) 设计了一系列有效的jailbreaking攻击prompt，以充分测试模型的安全性；3) 采用了清晰的评估指标，来量化VLM和LLM在面对攻击时的表现差异。

📊 实验亮点

实验结果表明，三种被测试的VLM都比其对应的LLM骨干网络更容易受到jailbreaking攻击。这表明视觉指令调优可能导致LLM的安全防护机制被削弱，从而增加了VLM的脆弱性。该研究强调了在VLM开发过程中，需要更加重视安全性问题。

🎯 应用场景

该研究成果可应用于提升视觉语言模型的安全性，例如在开发自动驾驶系统、医疗诊断辅助工具等应用时，确保模型不会被恶意利用进行非法或有害行为。未来的研究可以探索更有效的安全调优方法，以防止VLM在视觉指令调优过程中丢失安全准则。

📄 摘要（原文）

Augmenting Large Language Models (LLMs) with image-understanding capabilities has resulted in a boom of high-performing Vision-Language models (VLMs). While studying the alignment of LLMs to human values has received widespread attention, the safety of VLMs has not received the same attention. In this paper, we explore the impact of jailbreaking on three state-of-the-art VLMs, each using a distinct modeling approach. By comparing each VLM to their respective LLM backbone, we find that each VLM is more susceptible to jailbreaking. We consider this as an undesirable outcome from visual instruction-tuning, which imposes a forgetting effect on an LLM's safety guardrails. Therefore, we provide recommendations for future work based on evaluation strategies that aim to highlight the weaknesses of a VLM, as well as take safety measures into account during visual instruction tuning.