MoJE: Mixture of Jailbreak Experts, Naive Tabular Classifiers as Guard for Prompt Attacks

📄 arXiv: 2409.17699v3 📥 PDF

作者: Giandomenico Cornacchia, Giulio Zizzo, Kieran Fraser, Muhammad Zaid Hameed, Ambrish Rawat, Mark Purcell

分类: cs.CR, cs.AI, cs.LG

发布日期: 2024-09-26 (更新: 2024-10-04)

💡 一句话要点

提出MoJE：一种基于专家混合和朴素表格分类器的LLM越狱攻击防御方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 安全防御 Guardrail 专家混合

📋 核心要点

  1. 现有LLM的guardrails在检测越狱攻击时，往往面临准确率不足和计算效率低下的双重挑战。
  2. MoJE的核心思想是利用简单的语言统计技术，构建一个由多个越狱攻击专家混合而成的guardrail，以高效准确地识别恶意输入。
  3. 实验结果表明，MoJE能够在检测90%的越狱攻击的同时，不影响对正常输入的处理，显著提升了LLM的安全性。

📝 摘要（中文）

大型语言模型（LLMs）在各种应用中的普及，凸显了对强大安全措施以阻止潜在越狱攻击的迫切需求。这些攻击利用LLM中的漏洞，危及数据完整性和用户隐私。Guardrails作为抵御此类威胁的关键保护机制，但现有模型在检测准确性和计算效率方面通常存在不足。本文强调了预防LLM越狱攻击的重要性，并强调了输入guardrails在保护这些模型中的作用。我们引入了MoJE（Mixture of Jailbreak Expert），一种新颖的guardrail架构，旨在超越当前最先进guardrails的局限性。通过采用简单的语言统计技术，MoJE擅长检测越狱攻击，同时在模型推理过程中保持最小的计算开销。通过严格的实验，MoJE展示了卓越的性能，能够检测90%的攻击，同时不影响良性提示，从而增强了LLM抵御越狱攻击的安全性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）面临的越狱攻击问题。现有的guardrails模型在检测越狱攻击时，通常存在检测准确率不高或计算开销过大的问题，难以在实际应用中有效保护LLM的安全。

核心思路：MoJE的核心思路是利用简单的语言统计特征，构建多个专门检测特定类型越狱攻击的“专家”，然后将这些专家进行混合，形成一个更强大的guardrail。这种方法旨在通过分而治之的方式，提高检测准确率，并降低整体计算复杂度。

技术框架：MoJE的整体架构包含以下几个主要模块：1) 特征提取模块：从输入文本中提取语言统计特征，例如词频、n-gram频率等。2) 专家模型：每个专家模型都是一个简单的表格分类器，例如朴素贝叶斯或决策树，专门用于检测特定类型的越狱攻击。3) 混合模块：将多个专家模型的输出进行加权平均或投票，得到最终的越狱攻击检测结果。

关键创新：MoJE的关键创新在于其“专家混合”的架构。与传统的单一guardrail模型相比，MoJE能够针对不同类型的越狱攻击进行专门的检测，从而提高整体的检测准确率。此外，MoJE采用简单的表格分类器作为专家模型，降低了计算复杂度，使其更易于部署和应用。

关键设计：MoJE的关键设计包括：1) 专家模型的选择：论文选择了朴素贝叶斯分类器作为专家模型，因为它具有计算速度快、易于训练等优点。2) 特征选择：论文选择了一系列常用的语言统计特征，例如词频、n-gram频率等。3) 混合策略：论文采用了加权平均的混合策略，根据每个专家模型的性能，赋予不同的权重。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

MoJE在实验中表现出卓越的性能，能够在检测90%的越狱攻击的同时，不影响对正常输入的处理。与现有的guardrails模型相比，MoJE在检测准确率和计算效率方面均有显著提升，证明了其在防御LLM越狱攻击方面的有效性。

🎯 应用场景

MoJE可广泛应用于各种需要保护大型语言模型免受越狱攻击的场景，例如智能客服、聊天机器人、内容生成平台等。通过部署MoJE，可以有效防止恶意用户利用越狱攻击来操纵LLM生成有害或不当的内容，从而保护用户隐私和数据安全，提升LLM应用的可靠性和安全性。

📄 摘要（原文）

The proliferation of Large Language Models (LLMs) in diverse applications underscores the pressing need for robust security measures to thwart potential jailbreak attacks. These attacks exploit vulnerabilities within LLMs, endanger data integrity and user privacy. Guardrails serve as crucial protective mechanisms against such threats, but existing models often fall short in terms of both detection accuracy, and computational efficiency. This paper advocates for the significance of jailbreak attack prevention on LLMs, and emphasises the role of input guardrails in safeguarding these models. We introduce MoJE (Mixture of Jailbreak Expert), a novel guardrail architecture designed to surpass current limitations in existing state-of-the-art guardrails. By employing simple linguistic statistical techniques, MoJE excels in detecting jailbreak attacks while maintaining minimal computational overhead during model inference. Through rigorous experimentation, MoJE demonstrates superior performance capable of detecting 90% of the attacks without compromising benign prompts, enhancing LLMs security against jailbreak attacks.