Capability-Based Scaling Laws for LLM Red-Teaming
作者: Alexander Panfilov, Paul Kassianik, Maksym Andriushchenko, Jonas Geiping
分类: cs.AI, cs.CL, cs.CR, cs.LG
发布日期: 2025-05-26
💡 一句话要点
提出基于能力的LLM红队攻防扩展法则，预测攻击成功率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 红队测试 越狱攻击 能力差距 扩展法则
📋 核心要点
- 传统红队测试方法在面对能力超越红队人员的LLM时失效，需要新的评估框架。
- 论文从攻击者与目标的能力差距出发，构建红队测试模型，研究能力差距对攻击成功率的影响。
- 实验表明，攻击成功率与能力差距密切相关，并推导出越狱扩展法则，可预测攻击成功率。
📝 摘要（中文）
随着大型语言模型能力和自主性的增长，通过红队测试识别漏洞对于安全部署至关重要。然而，一旦红队测试演变为一种“弱对强”的问题，即目标模型的能力超过红队人员，传统的提示工程方法可能变得无效。为了研究这种转变，本文从攻击者和目标之间的能力差距的角度来构建红队测试。本文评估了500多个攻击者-目标对，使用基于LLM的越狱攻击，模拟不同家族、规模和能力水平的人工红队人员。研究结果表明：(i)能力更强的模型是更好的攻击者；(ii)一旦目标的能力超过攻击者，攻击成功率会急剧下降；(iii)攻击成功率与MMLU-Pro基准的社会科学部分的表现高度相关。基于这些趋势，本文推导出一个越狱扩展法则，该法则可以根据攻击者-目标能力差距预测固定目标的攻击成功率。这些发现表明，固定能力的攻击者（例如，人类）可能对未来的模型无效，能力越来越强的开源模型会放大现有系统的风险，模型提供商必须准确测量和控制模型的说服和操纵能力，以限制它们作为攻击者的效力。
🔬 方法详解
问题定义：论文旨在解决当目标LLM的能力超过红队人员时，传统红队测试方法失效的问题。现有方法主要依赖人工提示工程，难以有效发现和利用高能力LLM的漏洞。痛点在于缺乏对攻击者和目标之间能力差距的量化和建模，无法预测攻击的有效性，也无法指导红队策略的制定。
核心思路：论文的核心思路是将红队测试视为一个攻防博弈，并以攻击者和目标的能力差距作为关键因素。通过研究不同能力水平的LLM作为攻击者和目标时的攻击成功率，来量化能力差距的影响。核心假设是攻击成功率与攻击者和目标的能力差距呈负相关，即目标能力越强，攻击者能力越弱，攻击越难成功。
技术框架：论文构建了一个包含多个LLM的红队测试平台。该平台包含不同家族（例如，GPT、LLaMA）、不同规模（参数量）和不同能力水平的LLM。攻击者LLM使用预定义的越狱提示模板生成攻击提示，目标LLM接收攻击提示并生成响应。通过人工或自动评估响应是否成功绕过目标LLM的安全限制，来判断攻击是否成功。实验中，评估了超过500个攻击者-目标对。
关键创新：论文最重要的技术创新点在于提出了基于能力的红队攻防扩展法则。该法则将攻击成功率与攻击者和目标的能力差距联系起来，并提供了一种预测攻击成功率的定量方法。与现有方法相比，该法则不仅考虑了攻击提示的设计，还考虑了攻击者和目标的能力水平，更全面地反映了红队测试的复杂性。
关键设计：论文的关键设计包括：(1) 使用MMLU-Pro基准的社会科学部分来衡量LLM的能力水平，因为该基准可以反映LLM的推理、常识和道德判断能力；(2) 使用预定义的越狱提示模板来生成攻击提示，以确保攻击的可重复性和可控性；(3) 使用人工和自动评估相结合的方法来判断攻击是否成功，以提高评估的准确性；(4) 通过回归分析来拟合攻击成功率与能力差距之间的关系，从而推导出越狱扩展法则。
🖼️ 关键图片
📊 实验亮点
实验结果表明，攻击成功率与攻击者和目标的能力差距密切相关。具体来说，一旦目标的能力超过攻击者，攻击成功率会急剧下降。此外，攻击成功率与MMLU-Pro基准的社会科学部分的表现高度相关，表明LLM的推理、常识和道德判断能力是影响其安全性的重要因素。基于这些发现，论文推导出的越狱扩展法则可以有效地预测攻击成功率。
🎯 应用场景
该研究成果可应用于评估和提高LLM的安全性。模型提供商可以使用该方法来预测其模型在面对不同能力水平的攻击者时的脆弱性，并据此制定更有效的防御策略。此外，该研究还可以帮助红队人员更好地理解LLM的攻击面，并设计更有针对性的攻击方法。该研究对于保障LLM的安全部署和负责任使用具有重要意义。
📄 摘要（原文）
As large language models grow in capability and agency, identifying vulnerabilities through red-teaming becomes vital for safe deployment. However, traditional prompt-engineering approaches may prove ineffective once red-teaming turns into a weak-to-strong problem, where target models surpass red-teamers in capabilities. To study this shift, we frame red-teaming through the lens of the capability gap between attacker and target. We evaluate more than 500 attacker-target pairs using LLM-based jailbreak attacks that mimic human red-teamers across diverse families, sizes, and capability levels. Three strong trends emerge: (i) more capable models are better attackers, (ii) attack success drops sharply once the target's capability exceeds the attacker's, and (iii) attack success rates correlate with high performance on social science splits of the MMLU-Pro benchmark. From these trends, we derive a jailbreaking scaling law that predicts attack success for a fixed target based on attacker-target capability gap. These findings suggest that fixed-capability attackers (e.g., humans) may become ineffective against future models, increasingly capable open-source models amplify risks for existing systems, and model providers must accurately measure and control models' persuasive and manipulative abilities to limit their effectiveness as attackers.