Adversarial Reinforcement Learning for Large Language Model Agent Safety
作者: Zizhao Wang, Dingcheng Li, Vaishakh Keshava, Phillip Wallis, Ananth Balashankar, Peter Stone, Lukas Rutishauser
分类: cs.LG, cs.AI, cs.CL
发布日期: 2025-10-06
💡 一句话要点
提出ARLAS，利用对抗强化学习提升大语言模型Agent的安全性，防御提示注入攻击。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对抗强化学习 大型语言模型 Agent安全 提示注入攻击 安全防御
📋 核心要点
- 现有防御LLM Agent提示注入攻击的方法依赖于手动设计的攻击数据集，缺乏多样性，难以防御新型攻击。
- ARLAS框架采用对抗强化学习，通过共同训练攻击者和防御者，使Agent在对抗中学习防御各种提示注入攻击。
- 实验表明，ARLAS显著降低了Agent的攻击成功率，同时提高了任务成功率，验证了其有效性和鲁棒性。
📝 摘要（中文）
大型语言模型(LLM)Agent可以利用诸如Google搜索之类的工具来完成复杂的任务。然而，这种工具的使用引入了间接提示注入的风险，即隐藏在工具输出中的恶意指令可以操纵Agent，从而带来数据泄露等安全风险。目前的防御策略通常依赖于在已知攻击的数据集上微调LLM Agent。然而，这些数据集的生成依赖于手动设计的攻击模式，这限制了它们的多样性，并使Agent容易受到新型提示注入的攻击。为了解决这个限制，我们提出了一种用于Agent安全的对抗强化学习(ARLAS)的新框架，该框架通过将问题表述为双人零和博弈来利用对抗强化学习(RL)。ARLAS共同训练两个LLM：一个攻击者，学习自主生成多样化的提示注入；一个Agent，学习在完成分配的任务的同时防御它们。为了确保针对各种攻击的鲁棒性并防止循环学习，我们采用了一种基于种群的学习框架，该框架训练Agent防御所有先前的攻击者检查点。在BrowserGym和AgentDojo上的评估表明，使用ARLAS微调的Agent比原始模型实现了显著更低的攻击成功率，同时也提高了它们的任务成功率。我们的分析进一步证实，对抗过程生成了一组多样化且具有挑战性的攻击，与基础模型相比，从而产生了一个更强大的Agent。
🔬 方法详解
问题定义：论文旨在解决大型语言模型Agent在使用工具（如搜索引擎）时，容易受到间接提示注入攻击的问题。现有的防御方法依赖于人工构建的攻击数据集，这些数据集覆盖范围有限，无法有效防御新型或未知的攻击模式。这种局限性使得Agent在实际应用中面临严重的安全风险，例如数据泄露和恶意指令执行。
核心思路：论文的核心思路是利用对抗强化学习（Adversarial Reinforcement Learning, ARL）来提升Agent的安全性。通过构建一个双人零和博弈，让一个LLM扮演攻击者，负责生成多样化的提示注入攻击；另一个LLM扮演Agent，负责在完成任务的同时防御这些攻击。这种对抗训练的方式能够使Agent接触到更广泛、更具挑战性的攻击模式，从而提高其鲁棒性和泛化能力。
技术框架：ARLAS框架包含两个主要组成部分：攻击者（Attacker）和Agent（Defender）。攻击者的目标是生成能够成功欺骗Agent的提示注入攻击，而Agent的目标是在完成任务的同时防御这些攻击。这两个LLM通过强化学习进行共同训练。为了防止循环学习和提高Agent的鲁棒性，ARLAS采用了一种基于种群的学习框架，即Agent需要防御所有先前攻击者检查点生成的攻击。整个训练过程在一个模拟环境中进行，例如BrowserGym或AgentDojo。
关键创新：ARLAS的关键创新在于将对抗强化学习应用于LLM Agent的安全防御。与传统的基于数据集微调的方法不同，ARLAS能够自主生成多样化的攻击模式，从而突破了人工构建数据集的局限性。此外，基于种群的学习框架进一步提高了Agent的鲁棒性，使其能够防御各种不同类型的攻击。
关键设计：在ARLAS框架中，攻击者和Agent都使用LLM作为策略网络。攻击者的奖励函数设计为攻击成功的概率，Agent的奖励函数设计为任务完成的奖励减去攻击成功的惩罚。为了平衡探索和利用，采用了合适的探索策略。此外，基于种群的学习框架需要维护一个攻击者检查点池，并定期更新。具体参数设置（如学习率、奖励系数等）需要根据具体任务进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在BrowserGym和AgentDojo两个基准测试中，使用ARLAS微调的Agent相比原始模型，攻击成功率显著降低，同时任务成功率也得到了提升。具体而言，攻击成功率降低了XX%（具体数值论文中给出），任务成功率提升了YY%（具体数值论文中给出）。这些结果表明，ARLAS能够有效地提高Agent的安全性，同时保持其完成任务的能力。
🎯 应用场景
该研究成果可应用于各种需要LLM Agent与外部工具交互的场景，例如智能客服、自动化办公、智能家居等。通过提高Agent的安全性，可以有效防止恶意攻击和数据泄露，保障用户隐私和系统安全。未来，该方法可以进一步扩展到其他类型的安全问题，例如对抗样本攻击和模型后门攻击。
📄 摘要（原文）
Large Language Model (LLM) agents can leverage tools such as Google Search to complete complex tasks. However, this tool usage introduces the risk of indirect prompt injections, where malicious instructions hidden in tool outputs can manipulate the agent, posing security risks like data leakage. Current defense strategies typically rely on fine-tuning LLM agents on datasets of known attacks. However, the generation of these datasets relies on manually crafted attack patterns, which limits their diversity and leaves agents vulnerable to novel prompt injections. To address this limitation, we propose Adversarial Reinforcement Learning for Agent Safety (ARLAS), a novel framework that leverages adversarial reinforcement learning (RL) by formulating the problem as a two-player zero-sum game. ARLAS co-trains two LLMs: an attacker that learns to autonomously generate diverse prompt injections and an agent that learns to defend against them while completing its assigned tasks. To ensure robustness against a wide range of attacks and to prevent cyclic learning, we employ a population-based learning framework that trains the agent to defend against all previous attacker checkpoints. Evaluated on BrowserGym and AgentDojo, agents fine-tuned with ARLAS achieve a significantly lower attack success rate than the original model while also improving their task success rate. Our analysis further confirms that the adversarial process generates a diverse and challenging set of attacks, leading to a more robust agent compared to the base model.