Automated Progressive Red Teaming

📄 arXiv: 2407.03876v3 📥 PDF

作者: Bojian Jiang, Yi Jing, Tianhao Shen, Tong Wu, Qing Yang, Deyi Xiong

分类: cs.CR, cs.CL

发布日期: 2024-07-04 (更新: 2024-12-21)

备注: Accepted by COLING 2025

💡 一句话要点

提出自动化渐进式红队测试框架APRT，有效识别大语言模型潜在风险。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化红队测试 大型语言模型安全 对抗性攻击 漏洞挖掘 意图扩展 意图隐藏 攻击有效率 渐进式学习

📋 核心要点

  1. 现有自动化红队测试缺乏鲁棒框架，难以有效学习并发现大语言模型的潜在安全漏洞。
  2. APRT框架通过意图扩展、意图隐藏和Evil Maker三个模块，多轮交互式地探索和利用LLM漏洞。
  3. 实验表明APRT在开源和闭源LLM上均有效，能显著提高不安全但有用的响应的引出率。

📝 摘要（中文）

确保大型语言模型（LLM）的安全性至关重要，但识别潜在漏洞极具挑战性。手动红队测试虽然有效，但耗时、成本高且缺乏可扩展性。自动化红队测试（ART）提供了一种更具成本效益的替代方案，自动生成对抗性提示以暴露LLM的漏洞。然而，目前的ART工作缺乏一个鲁棒的框架，该框架将红队测试明确地定义为一个可以有效学习的任务。为了解决这一差距，我们提出了自动化渐进式红队测试（APRT）作为一个可以有效学习的框架。APRT利用三个核心模块：一个意图扩展LLM，用于生成多样化的初始攻击样本；一个意图隐藏LLM，用于精心设计欺骗性提示；以及一个Evil Maker，用于管理提示的多样性并过滤无效样本。这三个模块通过多轮交互，共同且渐进地探索和利用LLM的漏洞。除了框架之外，我们还提出了一个新的指标，攻击有效率（AER），以减轻现有评估指标的局限性。通过衡量引出不安全但看似有用的响应的可能性，AER与人类评估密切相关。大量的自动和人工评估实验表明，ARPT在开源和闭源LLM中都有效。具体而言，APRT有效地从Meta的Llama-3-8B-Instruct中引出54%的不安全但有用的响应，从GPT-4o（API访问）中引出50%，从Claude-3.5（API访问）中引出39%，展示了其强大的攻击能力和跨LLM的迁移能力（特别是从开源LLM到闭源LLM）。

🔬 方法详解

问题定义：现有自动化红队测试方法缺乏一个明确且可学习的框架，导致难以有效地发现大型语言模型中的潜在安全漏洞。现有的方法可能无法充分探索提示空间，并且缺乏有效的机制来区分和利用成功的攻击模式。因此，需要一种更系统和可扩展的方法来自动化红队测试过程。

核心思路：APRT的核心思路是将红队测试视为一个可学习的任务，并通过多轮迭代的方式逐步提升攻击效果。通过引入意图扩展、意图隐藏和Evil Maker三个模块，APRT能够生成更多样化、更具欺骗性的提示，并有效地筛选出成功的攻击样本。这种渐进式的学习方法能够更好地适应不同LLM的特性，从而提高攻击的成功率。

技术框架：APRT框架包含三个主要模块：1) 意图扩展LLM：负责生成多样化的初始攻击样本，探索不同的攻击方向。2) 意图隐藏LLM：用于生成具有欺骗性的提示，试图绕过LLM的安全机制。3) Evil Maker：管理提示的多样性，并根据LLM的响应筛选出有效的攻击样本。这三个模块通过多轮迭代交互，不断优化攻击策略，最终达到提升攻击效果的目的。

关键创新：APRT的关键创新在于其渐进式的学习框架和攻击有效率（AER）指标。渐进式框架使得红队测试过程更加系统和可控，而AER指标能够更准确地评估攻击的有效性，因为它考虑了引出不安全但有用的响应的可能性，这与人类评估更加一致。

关键设计：APRT框架中，意图扩展LLM和意图隐藏LLM可以使用不同的LLM模型，以增加攻击的多样性。Evil Maker模块使用基于规则或机器学习的方法来筛选有效的攻击样本。攻击有效率（AER）的计算方式为：AER = (unsafe and helpful responses) / (all responses)。具体参数设置需要根据目标LLM和攻击场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，APRT在多个LLM上表现出色。在Llama-3-8B-Instruct上，APRT成功引出54%的不安全但有用的响应；在GPT-4o上，成功率达到50%；在Claude-3.5上，成功率为39%。这些结果表明APRT具有强大的攻击能力和跨LLM的迁移能力，尤其是在从开源LLM迁移到闭源LLM时。

🎯 应用场景

APRT可用于评估和提高大型语言模型的安全性，帮助开发者识别和修复潜在漏洞。该技术可应用于金融、医疗、法律等对安全性要求较高的领域，降低LLM被恶意利用的风险。未来，APRT可进一步扩展到其他类型的人工智能系统，提升整体安全性。

📄 摘要（原文）

Ensuring the safety of large language models (LLMs) is paramount, yet identifying potential vulnerabilities is challenging. While manual red teaming is effective, it is time-consuming, costly and lacks scalability. Automated red teaming (ART) offers a more cost-effective alternative, automatically generating adversarial prompts to expose LLM vulnerabilities. However, in current ART efforts, a robust framework is absent, which explicitly frames red teaming as an effectively learnable task. To address this gap, we propose Automated Progressive Red Teaming (APRT) as an effectively learnable framework. APRT leverages three core modules: an Intention Expanding LLM that generates diverse initial attack samples, an Intention Hiding LLM that crafts deceptive prompts, and an Evil Maker to manage prompt diversity and filter ineffective samples. The three modules collectively and progressively explore and exploit LLM vulnerabilities through multi-round interactions. In addition to the framework, we further propose a novel indicator, Attack Effectiveness Rate (AER) to mitigate the limitations of existing evaluation metrics. By measuring the likelihood of eliciting unsafe but seemingly helpful responses, AER aligns closely with human evaluations. Extensive experiments with both automatic and human evaluations, demonstrate the effectiveness of ARPT across both open- and closed-source LLMs. Specifically, APRT effectively elicits 54% unsafe yet useful responses from Meta's Llama-3-8B-Instruct, 50% from GPT-4o (API access), and 39% from Claude-3.5 (API access), showcasing its robust attack capability and transferability across LLMs (especially from open-source LLMs to closed-source LLMs).