RvB: Automating AI System Hardening via Iterative Red-Blue Games

📄 arXiv: 2601.19726v1 📥 PDF

作者: Lige Huang, Zicheng Liu, Jie Zhang, Lewen Yan, Dongrui Liu, Jing Shao

分类: cs.CR, cs.AI, cs.CL

发布日期: 2026-01-27

💡 一句话要点

RvB：通过迭代红蓝对抗博弈自动化AI系统强化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 红蓝对抗 AI安全 大型语言模型 对抗攻击 动态强化

📋 核心要点

  1. 现有AI安全方法缺乏动态迭代的对抗适应能力，难以应对不断演变的攻击。
  2. RvB框架通过红蓝对抗博弈，红队攻击蓝队防御，迭代提升AI系统的鲁棒性，无需参数更新。
  3. 实验表明，RvB框架在代码强化和护栏优化任务中显著提升了防御成功率，同时保持低误报率。

📝 摘要（中文）

大型语言模型（LLM）的双重攻防效用凸显了AI安全领域的一个关键缺口：缺乏用于动态、迭代对抗适应强化的统一框架。为了弥补这一差距，我们提出了红队 vs. 蓝队（RvB）框架，该框架被形式化为一个无需训练、顺序、不完全信息博弈。在此过程中，红队暴露漏洞，推动蓝队学习有效的解决方案，而无需参数更新。我们在两个具有挑战性的领域验证了我们的框架：针对CVE的动态代码强化和针对越狱的护栏优化。我们的实验结果表明，这种交互迫使蓝队学习基本的防御原则，从而产生强大的修复措施，而不仅仅是过度拟合特定的漏洞利用。RvB在各自的任务中实现了90%和45%的防御成功率，同时保持接近0%的误报率，显著超过了基线。这项工作将迭代对抗交互框架确立为一种实用的范例，可自动实现AI系统的持续强化。

🔬 方法详解

问题定义：现有AI系统，特别是基于大型语言模型的系统，在面对对抗性攻击时非常脆弱。传统的防御方法往往是静态的，无法适应攻击手段的快速演变。因此，需要一种能够动态、迭代地提升AI系统鲁棒性的方法。现有方法的痛点在于缺乏统一的框架来模拟真实的攻防对抗，并且往往需要大量的训练数据和参数调整。

核心思路：RvB框架的核心思路是将AI系统的强化过程建模为一个红蓝对抗博弈。红队负责发现并利用系统的漏洞，而蓝队则负责学习并实施防御措施。通过迭代的攻防对抗，蓝队可以不断提升其防御能力，从而使整个系统更加鲁棒。这种方法的关键在于无需对模型参数进行更新，而是通过策略学习来提升防御能力。

技术框架：RvB框架是一个顺序、不完全信息博弈。红队和蓝队轮流行动，红队的目标是最大化攻击成功率，而蓝队的目标是最大化防御成功率。整个框架包含以下主要阶段：1) 红队生成攻击样本；2) 蓝队评估攻击样本并采取防御措施；3) 评估防御效果；4) 根据防御效果调整红队和蓝队的策略。这个过程不断迭代，直到达到预定的停止条件。

关键创新：RvB框架最重要的技术创新点在于它将AI系统的强化过程形式化为一个红蓝对抗博弈，并且无需对模型参数进行更新。这种方法能够有效地模拟真实的攻防对抗，并且可以快速地适应新的攻击手段。与现有方法相比，RvB框架更加灵活、高效，并且具有更强的泛化能力。

关键设计：RvB框架的关键设计包括：1) 红队和蓝队的策略表示；2) 攻击和防御的评估指标；3) 策略更新算法。红队和蓝队的策略可以使用不同的方法来表示，例如，可以使用强化学习算法来学习最优策略。攻击和防御的评估指标可以使用防御成功率和误报率等指标。策略更新算法可以使用不同的优化算法，例如，可以使用梯度下降法或进化算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RvB框架在动态代码强化和护栏优化任务中取得了显著的成果。在代码强化任务中，RvB实现了90%的防御成功率，同时保持接近0%的误报率。在护栏优化任务中，RvB实现了45%的防御成功率，同样保持接近0%的误报率。这些结果显著超过了基线方法，表明RvB框架能够有效地提升AI系统的鲁棒性。

🎯 应用场景

RvB框架可应用于各种AI系统的安全强化，例如，可以用于保护大型语言模型免受越狱攻击，也可以用于保护自动驾驶系统免受恶意攻击。该框架的实际价值在于可以自动化AI系统的安全强化过程，降低安全维护成本，并提高AI系统的可靠性和安全性。未来，RvB框架可以进一步扩展到更多的应用领域，例如，可以用于网络安全、金融安全等领域。

📄 摘要（原文）

The dual offensive and defensive utility of Large Language Models (LLMs) highlights a critical gap in AI security: the lack of unified frameworks for dynamic, iterative adversarial adaptation hardening. To bridge this gap, we propose the Red Team vs. Blue Team (RvB) framework, formulated as a training-free, sequential, imperfect-information game. In this process, the Red Team exposes vulnerabilities, driving the Blue Team to learning effective solutions without parameter updates. We validate our framework across two challenging domains: dynamic code hardening against CVEs and guardrail optimization against jailbreaks. Our empirical results show that this interaction compels the Blue Team to learn fundamental defensive principles, leading to robust remediations that are not merely overfitted to specific exploits. RvB achieves Defense Success Rates of 90\% and 45\% across the respective tasks while maintaining near 0\% False Positive Rates, significantly surpassing baselines. This work establishes the iterative adversarial interaction framework as a practical paradigm that automates the continuous hardening of AI systems.