DROJ: A Prompt-Driven Attack against Large Language Models

📄 arXiv: 2411.09125v1 📥 PDF

作者: Leyang Hu, Boran Wang

分类: cs.CL, cs.AI

发布日期: 2024-11-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出DROJ，一种通过优化嵌入表示绕过LLM安全机制的提示攻击方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对抗性攻击 越狱攻击 嵌入空间优化 安全对齐

📋 核心要点

  1. 大型语言模型存在安全漏洞，容易受到对抗性提示攻击，从而产生有害内容。
  2. DROJ通过在嵌入空间优化提示，使有害查询的表示向模型更可能产生肯定回答的方向移动。
  3. 实验表明，DROJ在LLaMA-2-7b-chat模型上实现了100%的攻击成功率，但需要系统提示来提高回复质量。

📝 摘要（中文）

大型语言模型（LLMs）在各种自然语言处理任务中表现出卓越的能力。由于它们在互联网来源的数据集上进行训练，LLMs有时会生成令人反感的内容，因此需要进行大量的人工反馈对齐以避免此类输出。尽管进行了大量的对齐工作，LLMs仍然容易受到对抗性越狱攻击的影响，这些攻击通常是经过操纵的提示，旨在规避安全机制并引出有害的响应。本文介绍了一种新颖的方法，即定向表示优化越狱（DROJ），它在嵌入级别优化越狱提示，以将有害查询的隐藏表示转移到更可能从模型中获得肯定响应的方向。在LLaMA-2-7b-chat模型上的评估表明，DROJ实现了100%的基于关键词的攻击成功率（ASR），有效地防止了直接拒绝。然而，该模型偶尔会产生重复且非信息性的响应。为了缓解这种情况，我们引入了一个有用的系统提示，以增强模型响应的效用。代码可在https://github.com/Leon-Leyang/LLM-Safeguard 获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）容易受到对抗性越狱攻击的问题。现有的LLMs虽然经过了安全对齐，但仍然可以通过精心设计的提示绕过安全机制，产生有害或不当的内容。现有的攻击方法可能不够有效，或者需要大量的计算资源来搜索有效的对抗性提示。

核心思路：DROJ的核心思路是在嵌入空间中直接优化提示的表示，使其能够诱导LLM产生期望的（有害的）输出。通过将有害查询的隐藏表示向更可能产生肯定响应的方向移动，DROJ可以有效地绕过LLM的安全机制。这种方法避免了直接修改提示文本，而是关注于其在模型内部的表示。

技术框架：DROJ攻击流程主要包含以下几个步骤：1) 选择一个有害查询作为攻击目标。2) 将该查询输入LLM，获取其隐藏层表示。3) 在嵌入空间中优化该表示，使其向预定义的“肯定响应”方向移动。4) 将优化后的表示转换回提示文本，作为最终的对抗性提示。5) 使用对抗性提示攻击LLM，验证攻击效果。

关键创新：DROJ的关键创新在于其在嵌入空间中直接优化提示表示的思想。与传统的基于文本的对抗性攻击方法不同，DROJ避免了对提示文本的直接修改，而是通过调整其在模型内部的表示来实现攻击目的。这种方法更加隐蔽，并且可以更有效地绕过LLM的安全机制。

关键设计：DROJ的关键设计包括：1) 如何定义“肯定响应”方向：论文可能使用了预先训练的嵌入向量或者其他方法来定义该方向。2) 如何在嵌入空间中优化提示表示：论文可能使用了梯度下降或其他优化算法来调整提示表示，使其向“肯定响应”方向移动。3) 如何将优化后的表示转换回提示文本：论文可能使用了逆向映射或者其他技术来实现这一转换。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DROJ在LLaMA-2-7b-chat模型上实现了100%的基于关键词的攻击成功率（ASR），表明其能够有效地绕过模型的安全机制，防止直接拒绝。虽然模型偶尔会产生重复和非信息性的响应，但通过引入有用的系统提示，可以显著提高模型响应的实用性。

🎯 应用场景

该研究成果可应用于评估和提升大型语言模型的安全性。通过DROJ这样的攻击方法，可以发现LLM安全机制的薄弱环节，从而有针对性地进行改进。此外，该研究也可以用于开发更强大的防御机制，以抵御对抗性提示攻击，确保LLM的可靠性和安全性。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated exceptional capabilities across various natural language processing tasks. Due to their training on internet-sourced datasets, LLMs can sometimes generate objectionable content, necessitating extensive alignment with human feedback to avoid such outputs. Despite massive alignment efforts, LLMs remain susceptible to adversarial jailbreak attacks, which usually are manipulated prompts designed to circumvent safety mechanisms and elicit harmful responses. Here, we introduce a novel approach, Directed Rrepresentation Optimization Jailbreak (DROJ), which optimizes jailbreak prompts at the embedding level to shift the hidden representations of harmful queries towards directions that are more likely to elicit affirmative responses from the model. Our evaluations on LLaMA-2-7b-chat model show that DROJ achieves a 100\% keyword-based Attack Success Rate (ASR), effectively preventing direct refusals. However, the model occasionally produces repetitive and non-informative responses. To mitigate this, we introduce a helpfulness system prompt that enhances the utility of the model's responses. Our code is available at https://github.com/Leon-Leyang/LLM-Safeguard.