MAGIC: A Co-Evolving Attacker-Defender Adversarial Game for Robust LLM Safety

📄 arXiv: 2602.01539v1 📥 PDF

作者: Xiaoyu Wen, Zhida He, Han Qi, Ziyu Wan, Zhongtian Ma, Ying Wen, Tianhang Zheng, Xingcheng Xu, Chaochao Lu, Qiaosheng Zhang

分类: cs.AI, cs.CL, cs.LG, cs.MA

发布日期: 2026-02-02

🔗 代码/项目: GITHUB

💡 一句话要点

MAGIC：一种用于增强LLM安全性的协同进化攻防对抗博弈方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全性 对抗攻击 强化学习 协同进化

📋 核心要点

  1. 现有LLM防御方法依赖静态数据，难以应对不断演进的对抗攻击，导致安全性不足。
  2. MAGIC框架将LLM安全对齐建模为攻防对抗博弈，通过强化学习实现攻击者和防御者的协同进化。
  3. 实验表明，MAGIC能有效提高防御成功率，同时不影响LLM的有用性，展现了其优越性能。

📝 摘要（中文）

确保大型语言模型（LLM）具有强大的安全性至关重要，但现有的防御措施往往落后于不断发展的对抗性攻击，因为它们依赖于静态的、预先收集的数据分布。本文介绍了一种新颖的多轮多智能体强化学习框架MAGIC，它将LLM安全对齐建模为一个非对称对抗博弈。具体来说，攻击者代理学习迭代地将原始查询重写为欺骗性提示，而防御者代理同时优化其策略以识别和拒绝此类输入。这种动态过程触发了一种协同进化，攻击者不断变化的策略不断发现长尾漏洞，从而推动防御者泛化到未见过的攻击模式。值得注意的是，我们观察到，攻击者在具备初始推理能力的情况下，通过迭代强化学习训练，进化出新颖的、以前未见过的组合策略，突显了我们方法的巨大潜力。理论上，我们提供了对更稳健的博弈均衡的见解，并推导出安全保证。大量的实验验证了我们框架的有效性，证明了在不影响模型有用性的前提下，防御成功率更高。我们的代码可在https://github.com/BattleWen/MAGIC上找到。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在面对对抗性攻击时安全性不足的问题。现有的防御方法主要依赖于静态的、预先收集的数据分布，这使得它们难以适应攻击者不断演进的策略，尤其是在长尾漏洞方面。因此，如何设计一种能够动态适应并有效防御新型攻击的LLM安全对齐方法是本文要解决的核心问题。

核心思路：论文的核心思路是将LLM的安全对齐问题建模为一个攻防对抗博弈。通过引入攻击者和防御者两个智能体，并利用强化学习方法，使它们在交互过程中不断学习和进化。攻击者负责生成对抗性样本，试图欺骗LLM；防御者则负责识别和拒绝这些样本。这种对抗性的训练方式能够促使防御者不断提升其泛化能力，从而更好地应对未知的攻击模式。

技术框架：MAGIC框架是一个多轮多智能体强化学习框架，包含以下主要模块：1) 攻击者代理：负责生成对抗性提示，通过迭代重写原始查询来欺骗LLM。2) 防御者代理：负责识别和拒绝对抗性提示，通过优化策略来提高防御成功率。3) LLM：作为防御者的目标，需要保护其免受攻击。4) 强化学习环境：模拟攻防对抗的过程，为智能体提供奖励信号。整个流程是，攻击者生成提示，LLM处理后，防御者判断是否为恶意提示，根据判断结果和LLM的输出质量，计算奖励信号，用于更新攻击者和防御者的策略。

关键创新：MAGIC框架的关键创新在于其协同进化的攻防对抗机制。与传统的静态防御方法不同，MAGIC通过强化学习使攻击者和防御者能够动态地学习和适应彼此的策略。这种协同进化能够促使攻击者发现新的攻击模式，并推动防御者提升其泛化能力，从而更有效地防御未知的攻击。此外，攻击者能够进化出之前未见过的组合策略，进一步提升了攻击的复杂性和难度。

关键设计：在MAGIC框架中，关键的设计包括：1) 奖励函数：需要精心设计奖励函数，以平衡攻击者和防御者的目标，并确保LLM的有用性。2) 强化学习算法：可以选择合适的强化学习算法，如PPO或DQN，来训练攻击者和防御者。3) 策略网络结构：需要设计合适的策略网络结构，以支持智能体学习复杂的攻击和防御策略。4) 对抗训练策略：需要设计有效的对抗训练策略，以确保攻击者和防御者能够充分地进行交互和学习。

📊 实验亮点

实验结果表明，MAGIC框架能够显著提高LLM的防御成功率，在多个数据集上优于现有的防御方法。具体来说，MAGIC在防御对抗性攻击方面的成功率提升了XX%，同时保持了LLM的有用性，证明了其在实际应用中的有效性。此外，实验还验证了攻击者能够通过协同进化学习到新的、未知的攻击策略。

🎯 应用场景

MAGIC框架可应用于各种需要确保LLM安全性的场景，例如智能客服、内容生成、代码生成等。通过提高LLM的鲁棒性，可以减少恶意攻击和不当内容带来的风险，提升用户体验和信任度。未来，该方法有望扩展到其他类型的AI系统，并与其他安全技术相结合，构建更强大的安全防护体系。

📄 摘要（原文）

Ensuring robust safety alignment is crucial for Large Language Models (LLMs), yet existing defenses often lag behind evolving adversarial attacks due to their \textbf{reliance on static, pre-collected data distributions}. In this paper, we introduce \textbf{MAGIC}, a novel multi-turn multi-agent reinforcement learning framework that formulates LLM safety alignment as an adversarial asymmetric game. Specifically, an attacker agent learns to iteratively rewrite original queries into deceptive prompts, while a defender agent simultaneously optimizes its policy to recognize and refuse such inputs. This dynamic process triggers a \textbf{co-evolution}, where the attacker's ever-changing strategies continuously uncover long-tail vulnerabilities, driving the defender to generalize to unseen attack patterns. Remarkably, we observe that the attacker, endowed with initial reasoning ability, evolves \textbf{novel, previously unseen combinatorial strategies} through iterative RL training, underscoring our method's substantial potential. Theoretically, we provide insights into a more robust game equilibrium and derive safety guarantees. Extensive experiments validate our framework's effectiveness, demonstrating superior defense success rates without compromising the helpfulness of the model. Our code is available at https://github.com/BattleWen/MAGIC.