CART: Closed-Loop Adaptive Red Teaming for Large Language Models
作者: Dongdong Zhang, Tengchao Lv, Yilin Jia, Yuzhong Zhao, Yupan Huang, Wenshan Wu, Xiangyang Zhou, Shaohan Huang, Nan Yang, Li Dong, Lei Cui, Furu Wei
分类: cs.AI
发布日期: 2026-09-23
💡 一句话要点
提出CART框架以解决自动化红队测试的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 红队测试 自适应机制 风险评估 模型安全 人工智能 闭环系统 动态测试
📋 核心要点
- 现有的自动化红队测试方法通常使用固定的提示集，无法从测试过程中发现的失败中进行学习，导致风险评估的局限性。
- CART框架通过闭环自适应机制，利用每次测试结果指导后续测试，增强了测试的有效性和适应性。
- 实验结果表明，CART在多个评估系列中发现的失败数量和平均风险均高于静态种子重放，显示出显著的性能提升。
📝 摘要（中文）
自动化红队测试通常依赖固定的提示集来评估已知风险，但无法从测试中发现的失败中学习。本文提出了CART（闭环自适应红队测试）框架，通过每次测试结果指导下一步测试。CART从广泛的风险覆盖开始，跟踪出现的弱点，保持新探测的多样性，并记录每个发现的证据和来源。该框架将测试创建者、被测试目标（文本模型或工具使用代理）和评估结果的评审者分开，使这些角色可以独立研究。CART在三个评估系列（Frontier、JAH和Agentic）中发现了更多的失败和更高的平均风险，表明上下文适应能够揭示直接提示重放未能发现的弱点。
🔬 方法详解
问题定义：现有的自动化红队测试方法依赖于固定的提示集，无法有效学习和适应测试过程中发现的弱点，导致对模型和代理的风险评估不全面。
核心思路：CART框架通过闭环自适应机制，利用每次测试的结果来指导后续的测试，确保测试覆盖广泛且能够针对新出现的弱点进行深入探测。
技术框架：CART框架由三个主要角色组成：测试创建者（Challenger）、被测试目标（Target）和评估者（Judge）。测试创建者负责生成测试，目标可以是文本模型或工具使用代理，评估者则对测试结果进行评估。该框架的设计允许独立研究各个角色的影响。
关键创新：CART的主要创新在于其闭环自适应机制，使得红队测试从一次性的检查表转变为一个持续的、适应性强的、可审计的模型和代理弱点搜索过程。
关键设计：在CART中，测试的多样性和适应性是通过动态生成新探测来实现的，同时记录每个发现的证据和来源，以便进行独立审查和分析。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CART在三个评估系列中发现的失败数量和平均风险均显著高于静态种子重放，具体而言，CART在每个目标上都实现了更高的风险发现率，表明其在上下文适应性方面的优势。
🎯 应用场景
CART框架在安全性测试、模型评估和人工智能系统的可靠性提升等领域具有广泛的应用潜力。通过持续的适应性测试，CART能够帮助开发者及时发现并修复模型中的弱点，从而提高系统的安全性和稳定性。未来，该框架可能在更复杂的多模态系统和动态环境中发挥重要作用。
📄 摘要（原文）
Automated red teaming often replays a fixed set of prompts, which measures known risks but cannot learn from failures found during testing. We present CART (Closed-Loop Adaptive Red Teaming), a framework that uses each result to guide what it tests next. CART begins with broad risk coverage, follows weaknesses that emerge, keeps new probes diverse, and records the evidence and source of every finding. It separates the Challenger that creates tests, the Target being tested, which may be a text-only model or a bounded tool-using agent, and the Judge that evaluates the results, allowing these roles to be studied independently. Across three evaluation families (Frontier, JAH, and Agentic), CART discovers more failures and higher average risk than static seed replay for every Target with an available baseline. The gains extend to tool-mediated agent tests, suggesting that contextual adaptation can reveal weaknesses that direct prompt replay does not exercise. These results describe what the test policies discover, not how often failures occur in real deployments. We also find that Challenger-Judge choices affect the evidence uncovered, highlighting the need for role separation and independent review. Overall, CART turns red teaming from a one-time checklist into a continuous, adaptive, and auditable search for model and agent weaknesses.