MLCommons Jailbreak Benchmark v1.0
作者: Carsten Maple, Cagatay Yucel, Isaac Holeman, Chris Knotz, Peter Mattson, James Goel, Jonathan Petit, Sean McGregor, James Ezick, Abhishek Kumar, Alicia Parrish, Murali Emani, Kashyap Iyer, Faiza Khan Khattak, Washington Mbonu, Daniel Machlab, Eileen Long, Shaona Ghosh, Jibin Varghese, Roman Lutz, Andrew Gruen, Bennett Hillenbrand, Prabal Gupta, Mohammed Serrhini, Dhivya Nagasubramanian, Aakash Gupta, Jun, Lu, Kurt Bollacker, Chang Liu, Jonathan Petit, Cong Chen, Jean-Philippe Monteuuis, Brent Miller, Apurv Verma, Roman Eng, Armstrong Foundjem, Mohammed Serrhini
分类: cs.AI
发布日期: 2026-10-02
💡 一句话要点
提出MLCommons Jailbreak Benchmark v1.0以评估语言模型的安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 越狱攻击 安全性评估 语言模型 鲁棒性测试 基准测试 人工智能 风险评估
📋 核心要点
- 现有的AI系统在处理危险请求时存在安全性不足的问题，容易被越狱提示攻击。
- 论文提出了一种系统化的评估方法，通过结合多种评估标准来测试语言模型的鲁棒性。
- 实验结果表明，越狱条件下的不安全响应率显著提高，平均鲁棒性差距达到7.57%。
📝 摘要（中文）
现代人工智能系统旨在拒绝危险请求，而越狱是旨在绕过这些保护措施的提示。MLCommons Jailbreak Benchmark v1.0提供了一种端到端的方法来评估大型语言模型对单轮文本越狱攻击的鲁棒性。该基准结合了系统和攻击选择、基线与对抗评估、人类注释、自动评估器校准、评分和风险校准披露等多个环节。通过264个种子提示评估八个开放权重系统，涵盖11个危险类别和代表性攻击。结果显示，在越狱条件下，系统的不安全响应率从11.08%增加到18.65%，平均鲁棒性差距为7.57%。该基准还考察了评估者的可靠性和测量误差来源，为未来的比较越狱评估奠定了可重复的方法基础。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在面对越狱攻击时的安全性评估问题。现有方法缺乏系统化的评估框架，难以全面反映模型的鲁棒性。
核心思路：通过构建一个综合的评估基准，结合系统选择、攻击选择和人类注释，提供一种全面的评估方法，以量化模型在越狱攻击下的表现。
技术框架：整体架构包括多个模块：首先进行系统和攻击的选择，然后进行基线和对抗评估，接着进行人类注释和自动评估器校准，最后进行评分和风险校准披露。
关键创新：该基准的创新在于其综合性和系统性，能够在单一流程中整合多种评估方法，提供更全面的鲁棒性评估，与现有方法相比具有显著的优势。
关键设计：在评估过程中，使用了264个种子提示，涵盖11个危险类别，采用AILuminate评估标准v1.4进行响应评估，确保评估结果的可靠性和有效性。实验还考察了评估者的可靠性和测量误差来源。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在越狱条件下，评估的系统不安全响应率从基线的11.08%提升至18.65%，平均鲁棒性差距达到7.57%。这一结果表明，越狱攻击对模型的影响显著，尤其是在可访问系统中表现更为明显。
🎯 应用场景
该研究为大型语言模型的安全性评估提供了标准化的方法，具有广泛的应用潜力。可以用于AI系统的安全性测试、模型开发过程中的风险评估，以及为政策制定者提供决策支持，确保AI技术的安全应用。
📄 摘要（原文）
Modern AI systems are designed to refuse hazardous requests. A jailbreak is a prompt crafted to bypass those safeguards and elicit outputs that the system would normally refuse to provide. The MLCommons Jailbreak Benchmark v1.0 provides an end-to-end methodology for evaluating the robustness of large language models to single-turn, text-based jailbreak attacks. It combines criteria-driven system and attack selection, paired baseline and adversarial evaluation, human annotation, automated evaluator calibration, scoring, grading, and risk-calibrated disclosure within a single benchmarking pipeline. The benchmark evaluates eight open-weight systems using 264 seed prompts spanning eleven hazard categories and representative attacks drawn from the MLCommons Jailbreak Taxonomy. Responses are assessed using the AILuminate Assessment Standard v1.4, and robustness is measured through the Resilience Gap: the change in safety performance between baseline and adversarial conditions. Across all evaluated systems and attacks, the unsafe-response rate increased from 11.08% under baseline conditions to 18.65% under jailbreak conditions, producing an average Resilience Gap of 7.57%. Accessible systems showed a larger mean gap, while attack effectiveness varied substantially across attack categories and hazards. The benchmark also examines evaluator reliability and sources of measurement error. Beyond reporting results, Jailbreak Benchmark v1.0 establishes a reproducible methodological foundation for comparative jailbreak evaluation and for future expansion across systems, attacks, hazards, and evaluation methods.