PandaGuard: Systematic Evaluation of LLM Safety against Jailbreaking Attacks
作者: Guobin Shen, Dongcheng Zhao, Linghao Feng, Xiang He, Jihang Wang, Sicheng Shen, Haibo Tong, Yiting Dong, Jindong Li, Xiang Zheng, Yi Zeng
分类: cs.CR, cs.CL
发布日期: 2025-05-20 (更新: 2025-05-26)
💡 一句话要点
PandaGuard：系统性评估大型语言模型针对越狱攻击的安全防护能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型安全 越狱攻击 对抗性提示 安全评估 多智能体系统 基准测试 PandaGuard PandaBench
📋 核心要点
- 现有LLM安全评估方法零散，缺乏系统性和可复现性，难以全面评估模型抵抗越狱攻击的能力。
- PandaGuard框架将LLM安全建模为多智能体系统，包含攻击者、防御者和判断者，实现统一评估。
- PandaBench基准测试了49个LLM，揭示了模型漏洞、防御权衡和判断者一致性等关键见解。
📝 摘要（中文）
大型语言模型(LLMs)虽然展现了卓越的能力，但仍然容易受到对抗性提示（即越狱攻击）的影响，这些攻击可以绕过安全对齐并引诱模型产生有害输出。尽管LLM安全研究日益增多，但现有的评估往往是零散的，侧重于孤立的攻击或防御技术，缺乏系统性、可复现的分析。本文提出了PandaGuard，一个统一且模块化的框架，将LLM越狱安全建模为一个包含攻击者、防御者和判断者的多智能体系统。该框架实现了19种攻击方法和12种防御机制，以及多种判断策略，所有这些都在一个灵活的插件架构中，支持多样化的LLM接口、多种交互模式和配置驱动的实验，从而增强了可复现性和实际部署。基于此框架，我们开发了PandaBench，一个全面的基准，评估了这些攻击/防御方法在49个LLM和各种判断方法之间的交互，执行过程需要超过30亿个token。我们广泛的评估揭示了模型漏洞、防御成本-性能权衡以及判断者一致性的关键见解。我们发现，没有一种防御在所有维度上都是最优的，并且判断者之间的分歧会在安全评估中引入不可忽略的差异。我们发布了代码、配置和评估结果，以支持LLM安全领域透明且可复现的研究。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）容易受到越狱攻击的问题。现有的评估方法通常是孤立的，缺乏系统性和可复现性，无法全面评估LLM的安全性。现有的防御方法也各有优缺点，没有一种方法能够在所有场景下都表现最佳。
核心思路：论文的核心思路是将LLM的越狱安全问题建模为一个多智能体系统，其中包含攻击者、防御者和判断者。攻击者试图通过构造对抗性提示来绕过LLM的安全机制，防御者则试图阻止这些攻击，判断者负责评估LLM的输出是否安全。通过模拟这种多智能体交互，可以更全面地评估LLM的安全性。
技术框架：PandaGuard框架包含三个主要模块：攻击模块、防御模块和判断模块。攻击模块实现了19种不同的越狱攻击方法，防御模块实现了12种不同的防御机制，判断模块实现了多种判断策略。这些模块都以插件的形式存在，可以灵活地组合和配置。PandaGuard还支持多种LLM接口和交互模式，以及配置驱动的实验，从而增强了可复现性和实际部署。
关键创新：PandaGuard的关键创新在于其统一且模块化的框架，以及将LLM安全建模为多智能体系统。这种建模方式能够更全面地评估LLM的安全性，并揭示模型漏洞、防御权衡和判断者一致性等关键见解。此外，PandaGuard还提供了一个全面的基准PandaBench，用于评估不同攻击和防御方法在不同LLM上的表现。
关键设计：PandaGuard的关键设计包括：1) 插件式的模块化架构，方便扩展新的攻击和防御方法；2) 多种判断策略，用于评估LLM输出的安全性；3) 配置驱动的实验，增强了可复现性；4) PandaBench基准，包含49个LLM和多种攻击/防御方法的组合。
🖼️ 关键图片
📊 实验亮点
PandaBench基准测试表明，没有一种防御方法在所有维度上都是最优的，不同的防御方法在成本和性能之间存在权衡。此外，判断者之间的分歧会在安全评估中引入不可忽略的差异，表明安全评估标准的主观性会影响评估结果。该研究还发现了不同LLM在面对不同攻击时的脆弱性。
🎯 应用场景
PandaGuard可用于评估和提升大型语言模型的安全性，帮助开发者发现和修复模型漏洞，提高模型抵抗恶意攻击的能力。该研究成果可应用于各种需要安全可靠的LLM应用场景，例如智能客服、内容生成、代码生成等，降低LLM被滥用的风险。
📄 摘要（原文）
Large language models (LLMs) have achieved remarkable capabilities but remain vulnerable to adversarial prompts known as jailbreaks, which can bypass safety alignment and elicit harmful outputs. Despite growing efforts in LLM safety research, existing evaluations are often fragmented, focused on isolated attack or defense techniques, and lack systematic, reproducible analysis. In this work, we introduce PandaGuard, a unified and modular framework that models LLM jailbreak safety as a multi-agent system comprising attackers, defenders, and judges. Our framework implements 19 attack methods and 12 defense mechanisms, along with multiple judgment strategies, all within a flexible plugin architecture supporting diverse LLM interfaces, multiple interaction modes, and configuration-driven experimentation that enhances reproducibility and practical deployment. Built on this framework, we develop PandaBench, a comprehensive benchmark that evaluates the interactions between these attack/defense methods across 49 LLMs and various judgment approaches, requiring over 3 billion tokens to execute. Our extensive evaluation reveals key insights into model vulnerabilities, defense cost-performance trade-offs, and judge consistency. We find that no single defense is optimal across all dimensions and that judge disagreement introduces nontrivial variance in safety assessments. We release the code, configurations, and evaluation results to support transparent and reproducible research in LLM safety.