"Moralized" Multi-Step Jailbreak Prompts: Black-Box Testing of Guardrails in Large Language Models for Verbal Attacks

📄 arXiv: 2411.16730v4 📥 PDF

作者: Libo Wang

分类: cs.CR, cs.AI, cs.CL

发布日期: 2024-11-23 (更新: 2025-03-20)

备注: This paper has been submitted to Nature Machine Intelligence and OpenReview preprints. It has 7 pages of text, 3 figures, and 3 tables

🔗 代码/项目: GITHUB

💡 一句话要点

通过道德化多步越狱提示，评估大型语言模型在言语攻击中的防护能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 黑盒测试 越狱攻击 道德化提示 言语攻击 安全评估 防护机制 多步提示

📋 核心要点

  1. 大型语言模型（LLMs）的应用日益广泛，但其潜在的有害内容生成风险也随之增加，现有防护机制的有效性亟待评估。
  2. 该研究通过设计模拟职场晋升竞争的“道德化”多步越狱提示，对主流LLMs进行黑盒测试，旨在评估其抵御言语攻击的能力。
  3. 实验结果表明，包括GPT-4o在内的多个LLMs的防护机制被成功绕过，而Claude 3.5 Sonnet表现出更强的抵抗力。

📝 摘要（中文）

随着大型语言模型在各个领域的应用不断扩展，识别有害内容生成和防护机制的有效性面临着更高的挑战。本研究旨在通过对看似符合道德的多步越狱提示进行黑盒测试，评估GPT-4o、Grok-2 Beta、Llama 3.1 (405B)、Gemini 1.5和Claude 3.5 Sonnet的防护有效性。通过设计模拟“公司中层管理者竞争晋升”场景的相同多步提示，进行道德攻击。数据结果表明，上述大型语言模型的防护机制被绕过，并生成了言语攻击的内容。Claude 3.5 Sonnet对多步越狱提示的抵抗力更为明显。为了确保客观性，实验过程、黑盒测试代码和增强的防护代码已上传到GitHub存储库：https://github.com/brucewang123456789/GeniusTrail.git。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLMs）在面对精心设计的、看似符合道德规范的多步越狱提示时，其内置防护机制的有效性。现有方法通常侧重于直接的、显式的攻击提示，而忽略了LLMs可能在复杂、间接的诱导下产生有害内容。因此，如何设计更贴近实际应用场景、更具迷惑性的攻击手段，是当前研究的痛点。

核心思路：论文的核心思路是利用“道德化”的多步提示，模拟现实世界中复杂的社会互动场景，例如职场晋升竞争。通过将攻击目标隐藏在看似无害的对话流程中，诱导LLMs在不知不觉中生成有害内容。这种方法旨在绕过LLMs对显式攻击的防御，从而更真实地评估其安全边界。

技术框架：该研究采用黑盒测试方法，主要流程包括：1) 设计“道德化”的多步越狱提示，模拟公司中层管理者竞争晋升的场景；2) 将提示输入到目标LLMs（GPT-4o、Grok-2 Beta、Llama 3.1、Gemini 1.5和Claude 3.5 Sonnet）；3) 分析LLMs的输出，判断其是否生成了言语攻击内容；4) 对比不同LLMs的表现，评估其防护机制的有效性。实验代码和数据已开源。

关键创新：该研究的关键创新在于提出了“道德化”多步越狱提示的概念，这种提示方式更贴近现实世界的攻击场景，能够更有效地绕过LLMs的防护机制。与传统的直接攻击相比，该方法更具迷惑性和隐蔽性，能够更真实地评估LLMs的安全风险。

关键设计：实验的关键设计在于多步提示的具体内容。每个步骤都经过精心设计，以逐步引导LLMs进入攻击目标。例如，初始步骤可能涉及讨论团队合作和个人贡献，后续步骤则逐渐引入竞争和冲突，最终诱导LLMs生成贬低或攻击其他同事的言语。提示的设计需要兼顾道德性和攻击性，以确保能够绕过LLMs的防护机制，同时又不会过于明显地触发安全警报。

📊 实验亮点

实验结果表明，包括GPT-4o、Grok-2 Beta、Llama 3.1和Gemini 1.5在内的多个LLMs的防护机制被成功绕过，能够生成言语攻击内容。相比之下，Claude 3.5 Sonnet表现出更强的抵抗力，更难被“道德化”多步越狱提示所诱导。该研究揭示了当前LLMs在处理复杂攻击场景时的安全漏洞，为后续研究提供了重要的参考。

🎯 应用场景

该研究成果可应用于评估和改进大型语言模型的安全性和鲁棒性，尤其是在处理复杂、间接的攻击提示时。通过识别LLMs的潜在漏洞，可以开发更有效的防护机制，降低其被恶意利用的风险。此外，该研究还可以帮助企业和开发者更好地理解LLMs的安全边界，从而更安全地部署和使用这些技术。

📄 摘要（原文）

As the application of large language models continues to expand in various fields, it poses higher challenges to the effectiveness of identifying harmful content generation and guardrail mechanisms. This research aims to evaluate the guardrail effectiveness of GPT-4o, Grok-2 Beta, Llama 3.1 (405B), Gemini 1.5, and Claude 3.5 Sonnet through black-box testing of seemingly ethical multi-step jailbreak prompts. It conducts ethical attacks by designing an identical multi-step prompts that simulates the scenario of "corporate middle managers competing for promotions." The data results show that the guardrails of the above-mentioned LLMs were bypassed and the content of verbal attacks was generated. Claude 3.5 Sonnet's resistance to multi-step jailbreak prompts is more obvious. To ensure objectivity, the experimental process, black box test code, and enhanced guardrail code are uploaded to the GitHub repository: https://github.com/brucewang123456789/GeniusTrail.git.