JailbreakEval: An Integrated Toolkit for Evaluating Jailbreak Attempts Against Large Language Models

📄 arXiv: 2406.09321v2 📥 PDF

作者: Delong Ran, Jinyuan Liu, Yichen Gong, Jingyi Zheng, Xinlei He, Tianshuo Cong, Anyu Wang

分类: cs.CR, cs.AI, cs.CL

发布日期: 2024-06-13 (更新: 2025-02-04)

备注: This is the Extended Version for the Poster at NDSS Symposium 2025, Feb 24-28, 2025. Our code is available at https://github.com/ThuCCSLab/JailbreakEval

💡 一句话要点

JailbreakEval：用于评估大语言模型越狱攻击的集成工具包

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 安全性评估 工具包 评估标准 对抗性攻击 安全防御

📋 核心要点

  1. 现有越狱攻击评估方法多样，缺乏统一标准，导致研究人员难以选择和比较不同的攻击与防御策略。
  2. JailbreakEval工具包旨在提供一个统一的平台，集成多种评估器，简化越狱攻击的评估流程，促进社区标准的形成。
  3. 该研究对现有越狱评估方法进行了系统分类，深入分析了它们的优缺点，为JailbreakEval的构建提供了理论基础。

📝 摘要（中文）

越狱攻击诱导大型语言模型（LLMs）生成有害回复，构成严重的滥用威胁。尽管对越狱攻击和防御的研究正在兴起，但在评估越狱方面尚未达成共识，即评估LLM回复有害性的方法各不相同。每种方法都有其自身的优缺点，影响其与人类价值观的对齐，以及时间和经济成本。这种多样性给研究人员在选择合适的评估方法和比较不同的攻击和防御带来了挑战。在本文中，我们对越狱评估方法进行了全面分析，借鉴了2023年5月至2024年4月期间发表的近90项越狱研究。我们的研究引入了越狱评估器的系统分类，深入了解了它们的优缺点以及当前的应用状态。为了帮助进一步的研究，我们提出了JailbreakEval，一个用于评估越狱尝试的工具包。JailbreakEval包含各种开箱即用的评估器，使用户能够通过单个命令或自定义评估工作流程获得结果。总而言之，我们认为JailbreakEval是一个催化剂，可以简化越狱研究中的评估过程，并在社区内培养越狱评估的包容性标准。

🔬 方法详解

问题定义：目前针对大型语言模型的越狱攻击层出不穷，但缺乏统一的评估标准来衡量攻击的有效性和模型防御的强度。不同的评估方法在成本、效率和与人类价值观的对齐程度上存在差异，使得研究人员难以选择合适的评估方法，也难以公平地比较不同的攻击和防御策略。

核心思路：JailbreakEval的核心思路是构建一个集成化的评估工具包，将多种现有的越狱评估方法整合到一个平台中，并提供统一的接口和工作流程。通过提供开箱即用的评估器和自定义评估流程，JailbreakEval旨在降低越狱研究的门槛，并促进社区对越狱评估标准的共识。

技术框架：JailbreakEval的整体框架包含以下几个主要模块：1) 评估器管理模块：负责管理和维护各种越狱评估器，包括自动化评估器和人工评估器。2) 评估流程管理模块：允许用户自定义评估流程，例如选择特定的评估器、设置评估参数等。3) 结果报告模块：生成统一格式的评估报告，方便用户分析和比较不同攻击和防御策略的效果。4) 数据集管理模块：提供常用的越狱攻击数据集和防御数据集，方便用户进行实验。

关键创新：JailbreakEval的关键创新在于其集成性和易用性。它不是提出一种新的评估方法，而是将现有的多种评估方法整合到一个统一的平台中，并提供简单易用的接口，从而降低了越狱研究的门槛。此外，JailbreakEval还提供了一个系统化的越狱评估器分类，为研究人员选择合适的评估方法提供了指导。

关键设计：JailbreakEval的关键设计包括：1) 可扩展的评估器接口：允许用户方便地添加新的评估器。2) 灵活的评估流程配置：允许用户自定义评估流程，例如选择特定的评估器、设置评估参数等。3) 统一的评估报告格式：方便用户分析和比较不同攻击和防御策略的效果。具体的参数设置、损失函数、网络结构等技术细节取决于集成的具体评估器。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该论文对现有越狱评估方法进行了全面的分析和分类，并构建了一个集成化的评估工具包JailbreakEval。JailbreakEval集成了多种评估器，并提供统一的接口和工作流程，简化了越狱攻击的评估流程。该工具包旨在促进社区对越狱评估标准的共识，提高大型语言模型的安全性。

🎯 应用场景

JailbreakEval可应用于评估各种大型语言模型的安全性，帮助开发者发现模型存在的漏洞并改进防御策略。该工具包还可用于比较不同越狱攻击和防御方法的效果，促进相关研究的进展。此外，JailbreakEval有助于建立越狱评估的统一标准，提高大型语言模型的安全性和可靠性。

📄 摘要（原文）

Jailbreak attacks induce Large Language Models (LLMs) to generate harmful responses, posing severe misuse threats. Though research on jailbreak attacks and defenses is emerging, there is no consensus on evaluating jailbreaks, i.e., the methods to assess the harmfulness of an LLM's response are varied. Each approach has its own set of strengths and weaknesses, impacting their alignment with human values, as well as the time and financial cost. This diversity challenges researchers in choosing suitable evaluation methods and comparing different attacks and defenses. In this paper, we conduct a comprehensive analysis of jailbreak evaluation methodologies, drawing from nearly 90 jailbreak research published between May 2023 and April 2024. Our study introduces a systematic taxonomy of jailbreak evaluators, offering indepth insights into their strengths and weaknesses, along with the current status of their adaptation. To aid further research, we propose JailbreakEval, a toolkit for evaluating jailbreak attempts. JailbreakEval includes various evaluators out-of-the-box, enabling users to obtain results with a single command or customized evaluation workflows. In summary, we regard JailbreakEval to be a catalyst that simplifies the evaluation process in jailbreak research and fosters an inclusive standard for jailbreak evaluation within the community.