CoP: Agentic Red-teaming for Large Language Models using Composition of Principles

📄 arXiv: 2506.00781v3 📥 PDF

作者: Chen Xiong, Pin-Yu Chen, Tsung-Yi Ho

分类: cs.AI

发布日期: 2025-06-01 (更新: 2025-12-06)

💡 一句话要点

提出CoP框架，通过组合原则驱动Agent进行大语言模型红队测试，提升安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 红队测试 安全评估 越狱攻击 AI Agent

📋 核心要点

  1. 现有红队测试方法难以有效发现LLMs的潜在安全风险，尤其是在面对复杂和新型的攻击策略时。
  2. CoP框架通过组合红队测试原则，驱动AI Agent自动生成和执行测试策略，从而更全面地评估LLMs的安全性。
  3. 实验结果表明，CoP框架能够发现新的越狱提示，并显著提高攻击成功率，有效提升了红队测试的效率和效果。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展推动了各个领域的变革性应用。然而，旨在通过诱导LLMs产生有害或危险回复来破坏安全对齐和用户合规性的越狱攻击，正成为一个紧迫的问题。LLMs的红队测试旨在在新兴AI技术发布之前主动探索潜在风险和容易出错的实例。本文提出了一种Agentic工作流程，通过组合原则（CoP）框架来自动化和扩展LLMs的红队测试过程。在该框架中，人类用户提供一组红队测试原则作为指令，AI Agent自动编排有效的红队测试策略并生成越狱提示。与现有的红队测试方法不同，CoP框架提供了一个统一且可扩展的框架，以包含和编排人工提供的红队测试原则，从而实现新红队测试策略的自动发现。在针对领先LLMs的测试中，CoP通过发现新的越狱提示并使最佳单轮攻击成功率提高高达19.0倍，揭示了前所未有的安全风险。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLMs）的红队测试问题，即如何高效、自动化地发现LLMs中存在的安全漏洞和风险。现有红队测试方法通常依赖人工设计测试用例，效率低且难以覆盖所有可能的攻击场景。此外，现有方法难以有效组合不同的攻击策略，导致无法发现更复杂的安全漏洞。

核心思路：论文的核心思路是利用AI Agent自动编排红队测试策略，并结合人类提供的红队测试原则，从而实现更全面、高效的红队测试。通过组合不同的原则，Agent可以探索更广泛的攻击空间，发现潜在的安全风险。这种方法旨在弥补人工测试的局限性，并提高红队测试的效率和覆盖率。

技术框架：CoP框架包含以下主要模块：1) 红队测试原则库：由人工提供，包含一系列用于指导Agent生成攻击提示的原则。2) Agent：负责根据红队测试原则，自动生成和执行测试策略。Agent可以采用不同的策略生成提示，例如基于规则、基于搜索或基于生成模型。3) 目标LLM：待测试的大语言模型。4) 评估模块：用于评估LLM对生成的提示的响应，判断是否成功越狱。

关键创新：CoP框架的关键创新在于其统一且可扩展的框架，能够包含和编排人工提供的红队测试原则，从而实现新红队测试策略的自动发现。与现有方法相比，CoP框架无需人工设计具体的测试用例，而是通过组合原则驱动Agent自动探索攻击空间，从而更有效地发现安全漏洞。此外，CoP框架具有良好的可扩展性，可以方便地添加新的红队测试原则，以应对不断变化的攻击场景。

关键设计：CoP框架的关键设计包括：1) 红队测试原则的表示方法：论文采用自然语言描述红队测试原则，例如“尝试使用反向心理学诱导LLM回答问题”。2) Agent的提示生成策略：Agent可以采用不同的策略生成提示，例如基于规则、基于搜索或基于生成模型。具体策略的选择取决于红队测试原则和目标LLM的特性。3) 评估指标：论文采用攻击成功率作为评估指标，即LLM对生成的提示产生有害或危险回复的比例。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoP框架在针对领先LLMs的测试中表现出色，能够发现新的越狱提示，并使最佳单轮攻击成功率提高高达19.0倍。这表明CoP框架能够有效提升红队测试的效率和效果，为LLMs的安全评估提供了一种新的解决方案。实验结果充分验证了CoP框架的有效性和优越性。

🎯 应用场景

该研究成果可应用于大语言模型的安全评估和风险管理。通过自动化红队测试，可以更全面地发现LLMs中存在的安全漏洞，从而提高LLMs的安全性和可靠性。此外，该方法还可以用于指导LLMs的安全对齐，使其更好地符合人类价值观和伦理规范。该研究对于推动负责任的AI发展具有重要意义。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have spurred transformative applications in various domains, ranging from open-source to proprietary LLMs. However, jailbreak attacks, which aim to break safety alignment and user compliance by tricking the target LLMs into answering harmful and risky responses, are becoming an urgent concern. The practice of red-teaming for LLMs is to proactively explore potential risks and error-prone instances before the release of frontier AI technology. This paper proposes an agentic workflow to automate and scale the red-teaming process of LLMs through the Composition-of-Principles (CoP) framework, where human users provide a set of red-teaming principles as instructions to an AI agent to automatically orchestrate effective red-teaming strategies and generate jailbreak prompts. Distinct from existing red-teaming methods, our CoP framework provides a unified and extensible framework to encompass and orchestrate human-provided red-teaming principles to enable the automated discovery of new red-teaming strategies. When tested against leading LLMs, CoP reveals unprecedented safety risks by finding novel jailbreak prompts and improving the best-known single-turn attack success rate by up to 19.0 times.