Playing Language Game with LLMs Leads to Jailbreaking
作者: Yu Peng, Zewen Long, Fangming Dong, Congyi Li, Shu Wu, Kai Chen
分类: cs.CL, cs.AI
发布日期: 2024-11-16 (更新: 2024-11-27)
💡 一句话要点
利用语言游戏攻击LLM：揭示安全对齐的泛化缺陷
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 越狱攻击 安全对齐 泛化能力 语言游戏 自然语言处理 安全漏洞
📋 核心要点
- 现有大型语言模型（LLMs）的安全防御机制容易受到越狱攻击，尤其是在安全泛化能力不足的领域。
- 论文提出自然语言游戏和自定义语言游戏两种新型越狱方法，利用语言结构和规则的特殊性绕过安全机制。
- 实验表明，该方法在多个LLM平台上具有高攻击成功率，并揭示了安全对齐知识在不同语言格式间的泛化缺陷。
📝 摘要（中文）
大型语言模型（LLMs）的发展催生了大量的越狱技术，旨在绕过其针对恶意攻击的安全防御机制。一种有效的越狱方法是识别安全泛化失败的领域，即不匹配的泛化现象。本文提出了两种基于不匹配泛化的新型越狱方法：自然语言游戏和自定义语言游戏。这两种方法都能有效地绕过LLMs的安全机制，具有多种类型和变体，难以防御，并导致高攻击率。自然语言游戏涉及使用合成语言结构以及与这些结构交织在一起的动作，例如Ubbi Dubbi语言。在此基础上，我们提出了自定义语言游戏方法：通过使用各种自定义规则与LLMs交互，我们成功地在多个LLM平台上执行了越狱攻击。大量实验表明了我们方法的有效性，在GPT-4o上达到了93%的成功率，在GPT-4o-mini上达到了89%，在Claude-3.5-Sonnet上达到了83%。此外，为了研究安全对齐的泛化能力，我们使用自定义语言游戏对Llama-3.1-70B进行了微调，以实现数据集内的安全对齐，并发现当通过其他语言游戏进行交互时，微调后的模型仍然无法识别有害内容。这一发现表明，嵌入在LLMs中的安全对齐知识无法在不同的语言格式中泛化，从而为该领域的未来研究开辟了新的途径。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）的安全防御机制容易被绕过的问题。现有方法在面对特定类型的攻击，尤其是利用语言结构和规则的攻击时，泛化能力不足，导致安全对齐失效。这种失效源于LLMs难以将安全知识从一种语言形式泛化到另一种语言形式，为恶意攻击者提供了可乘之机。
核心思路：论文的核心思路是利用LLMs在不同语言形式之间的安全泛化能力不足的弱点，通过设计特定的语言游戏来绕过其安全机制。这些语言游戏包括自然语言游戏（如Ubbi Dubbi语言）和自定义语言游戏，它们通过引入新的语言规则和结构，使得LLMs难以识别和防御潜在的有害指令。
技术框架：该研究的技术框架主要包括以下几个阶段：1) 设计自然语言游戏和自定义语言游戏，定义其语法规则和交互方式；2) 利用这些语言游戏与目标LLMs进行交互，尝试执行越狱攻击，即诱导LLMs生成有害内容或执行恶意指令；3) 评估攻击的成功率，并分析LLMs的安全防御机制失效的原因；4) 通过微调LLMs，尝试提高其在特定语言游戏中的安全对齐能力，并测试其泛化能力。
关键创新：论文的关键创新在于提出了利用语言游戏进行越狱攻击的新思路，并证明了LLMs的安全对齐知识在不同语言形式之间的泛化能力存在严重缺陷。与传统的越狱方法相比，该方法更加隐蔽和灵活，能够有效地绕过LLMs的安全防御机制。此外，论文还通过实验验证了该方法的有效性，并分析了其背后的原因。
关键设计：在自定义语言游戏的设计中，关键在于定义一套新的语言规则，使得LLMs能够理解并执行指令，同时又难以识别其中的潜在危害。例如，可以设计一种将指令隐藏在看似无害的文本中的编码方式，或者利用LLMs对特定词语或句子的语义理解偏差。在实验中，研究人员使用了不同的语言游戏变体，并调整了攻击指令的强度和频率，以评估LLMs的安全防御能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在GPT-4o、GPT-4o-mini和Claude-3.5-Sonnet等多个LLM平台上取得了显著的越狱效果，攻击成功率分别高达93%、89%和83%。此外，通过对Llama-3.1-70B进行微调，发现即使在特定语言游戏中实现了安全对齐，其在其他语言游戏中的安全防御能力仍然不足，进一步验证了安全对齐知识的泛化缺陷。
🎯 应用场景
该研究成果可应用于评估和改进大型语言模型的安全性，尤其是在面对新型攻击手段时。通过分析LLMs在不同语言形式下的安全泛化能力，可以更好地理解其安全漏洞，并开发更有效的防御机制。此外，该研究还可以用于开发更安全的LLM应用，防止其被恶意利用。
📄 摘要（原文）
The advent of large language models (LLMs) has spurred the development of numerous jailbreak techniques aimed at circumventing their security defenses against malicious attacks. An effective jailbreak approach is to identify a domain where safety generalization fails, a phenomenon known as mismatched generalization. In this paper, we introduce two novel jailbreak methods based on mismatched generalization: natural language games and custom language games, both of which effectively bypass the safety mechanisms of LLMs, with various kinds and different variants, making them hard to defend and leading to high attack rates. Natural language games involve the use of synthetic linguistic constructs and the actions intertwined with these constructs, such as the Ubbi Dubbi language. Building on this phenomenon, we propose the custom language games method: by engaging with LLMs using a variety of custom rules, we successfully execute jailbreak attacks across multiple LLM platforms. Extensive experiments demonstrate the effectiveness of our methods, achieving success rates of 93% on GPT-4o, 89% on GPT-4o-mini and 83% on Claude-3.5-Sonnet. Furthermore, to investigate the generalizability of safety alignments, we fine-tuned Llama-3.1-70B with the custom language games to achieve safety alignment within our datasets and found that when interacting through other language games, the fine-tuned models still failed to identify harmful content. This finding indicates that the safety alignment knowledge embedded in LLMs fails to generalize across different linguistic formats, thus opening new avenues for future research in this area.