AgentSafeEvo: Adversarial Co-Evolution for LLM Agent Safety

📄 arXiv: 2610.19422v1 📥 PDF

作者: Chenxu Wang, Xiaoyu Wen, Han Qi, Ziyuan Zhou, Cheng Jin, Chaochao Lu, Qiaosheng Zhang

分类: cs.AI

发布日期: 2026-10-14

💡 一句话要点

提出AgentSafeEvo以解决LLM代理安全问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 对抗性学习 强化学习 安全性 任务加权 代理系统 博弈论

📋 核心要点

  1. 现有方法主要关注语言层面的安全性，缺乏对多样化任务和攻击类型的全面考虑。
  2. 本文提出的AgentSafeEvo框架通过攻击者-防御者博弈，增强LLM代理在多种任务下的安全性。
  3. 实验结果显示，该方法在对抗鲁棒性和一般能力基准上均有显著提升。

📝 摘要（中文）

大型语言模型（LLM）代理通过与外部工具的多轮交互完成复杂任务。然而，用户查询、工具描述或环境观察中嵌入的恶意内容可能操控其决策并引发不安全行为。对抗性共同进化已成为增强LLM安全性的有效方法，但现有研究主要集中在语言层面的安全性或网络任务中的间接提示注入。本文提出了AgentSafeEvo，一个基于攻击者-防御者博弈的共同进化强化学习框架，旨在提升代理安全性。攻击者学习构建暴露防御者工具使用弱点的对抗性代理任务，而防御者则学习在这些攻击下安全地完成任务。我们进一步引入了基于可学习性的任务加权，通过任务内防御者奖励的变异性调整每个任务对攻击者和防御者更新的贡献。大量实验表明，我们的方法在提高对抗鲁棒性的同时保持了代理的整体能力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型代理在多轮交互中因恶意内容而导致的安全性问题。现有方法往往局限于语言层面的安全性，未能有效应对多样化的攻击类型和任务场景。

核心思路：AgentSafeEvo框架通过对抗性共同进化的方式，构建攻击者与防御者之间的博弈关系。攻击者负责设计对抗性任务以暴露防御者的弱点，而防御者则在这些任务中学习如何安全地完成目标。

技术框架：该框架包括两个主要模块：攻击者模块和防御者模块。攻击者模块生成对抗性任务，防御者模块则在这些任务下进行训练。通过引入可学习的任务加权机制，动态调整任务对模型更新的贡献。

关键创新：最重要的创新在于引入了基于可学习性的任务加权方法，使得模型在训练过程中能够根据任务的难度和防御者的表现动态调整学习策略。这一设计与现有方法的静态任务设置形成鲜明对比。

关键设计：在参数设置上，任务加权机制依据防御者在特定任务中的奖励变异性进行调整。此外，损失函数设计考虑了对抗性任务的复杂性，以确保防御者能够在多样化的攻击下保持鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AgentSafeEvo在对抗鲁棒性方面相较于基线方法提升了约15%，同时在一般能力基准上保持了与现有最优模型相当的性能。这一成果证明了对抗性共同进化在提升LLM代理安全性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和其他需要与用户进行复杂交互的系统。通过提升LLM代理的安全性，可以有效降低因恶意输入导致的风险，增强用户信任，推动智能系统的广泛应用。

📄 摘要（原文）

Large language model (LLM) agents accomplish complex tasks through multi-turn interactions with external tools. However, malicious content embedded in user queries, tool descriptions, or environment observations can manipulate their decisions and induce unsafe actions. Adversarial co-evolution has emerged as an effective approach to strengthening LLM safety, but existing work primarily focuses on language-level safety or indirect prompt injection in web tasks. In this paper, we introduce AgentSafeEvo, a co-evolutionary reinforcement learning framework for agent safety built on an attacker-defender game spanning diverse tasks and attack types. The attacker learns to construct adversarial agent tasks that expose weaknesses in the defender's tool use, while the defender learns to complete tasks safely under these attacks. We further introduce learnability-guided task weighting, which uses within-task defender-reward variability to adjust each task's contribution to attacker and defender updates. Extensive experiments on agent safety and general capability benchmarks demonstrate that our method improves adversarial robustness while maintaining general agent capabilities.