Genesis: Evolving Attack Strategies for LLM Web Agent Red-Teaming

📄 arXiv: 2510.18314v1 📥 PDF

作者: Zheng Zhang, Jiarui He, Yuchen Cai, Deheng Ye, Peilin Zhao, Ruili Feng, Hao Wang

分类: cs.AI

发布日期: 2025-10-21

💡 一句话要点

Genesis：演化攻击策略，用于LLM Web Agent的红队测试

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 红队测试 攻击策略演化 遗传算法 Web安全

📋 核心要点

  1. 现有Web Agent红队测试方法依赖人工或静态模型，无法有效捕捉Agent行为模式，泛化能力不足。
  2. Genesis框架通过攻击者、评分器和策略师的协同工作，实现攻击策略的持续发现和演化。
  3. 实验表明，Genesis能够发现新的攻击策略，并在多种Web任务中超越现有攻击基线。

📝 摘要（中文）

随着大型语言模型（LLM）Agent越来越多地自动化复杂的Web任务，它们在提高生产力的同时也带来了新的安全风险。然而，目前关于Web Agent攻击的相关研究仍然有限。现有的红队测试方法主要依赖于手动设计的攻击策略或离线训练的静态模型。这些方法无法捕捉Web Agent的潜在行为模式，难以推广到不同的环境中。在Web Agent攻击中，成功需要不断发现和演化攻击策略。为此，我们提出了Genesis，一种新颖的Agent框架，由攻击者、评分器和策略师三个模块组成。攻击者通过将遗传算法与混合策略表示相结合来生成对抗性注入。评分器评估目标Web Agent的响应以提供反馈。策略师从交互日志中动态地发现有效的策略，并将它们编译成一个不断增长的策略库，然后重新部署以提高攻击者的有效性。在各种Web任务中进行的大量实验表明，我们的框架发现了新的策略，并且始终优于现有的攻击基线。

🔬 方法详解

问题定义：论文旨在解决LLM Web Agent的安全性问题，特别是如何有效地进行红队测试，发现并利用Agent的潜在漏洞。现有方法，如人工设计的攻击或静态模型，难以适应Web Agent复杂多变的行为模式，泛化能力差，无法持续发现新的攻击策略。

核心思路：论文的核心思路是构建一个能够自主学习和演化攻击策略的Agent框架。通过模拟攻击-评估-学习的循环，不断优化攻击策略，从而更有效地发现Web Agent的漏洞。这种方法借鉴了遗传算法的思想，通过策略的变异和选择，实现攻击能力的持续提升。

技术框架：Genesis框架包含三个主要模块：攻击者（Attacker）、评分器（Scorer）和策略师（Strategist）。攻击者负责生成对抗性注入，利用遗传算法和混合策略表示来探索不同的攻击方式。评分器评估目标Web Agent对攻击的响应，并提供反馈信号。策略师分析交互日志，提取有效的攻击策略，并将其添加到策略库中，供攻击者后续使用。

关键创新：该论文的关键创新在于提出了一个能够自主演化攻击策略的Agent框架。与传统的静态攻击方法不同，Genesis能够根据目标Web Agent的行为动态调整攻击策略，从而更有效地发现漏洞。混合策略表示和遗传算法的结合，使得攻击者能够探索更广泛的攻击空间。

关键设计：攻击者使用遗传算法来演化攻击策略，策略表示采用混合方式，结合了离散和连续的策略元素。评分器根据预定义的指标评估Web Agent的响应，例如成功率、资源消耗等。策略师使用机器学习算法（具体算法未知）从交互日志中提取有效的攻击模式，并将其转化为可复用的策略。具体的参数设置和损失函数等技术细节在论文中可能未详细描述，需要进一步查阅论文原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Genesis框架能够发现新的攻击策略，并在各种Web任务中始终优于现有的攻击基线。具体的性能数据和提升幅度在摘要中未给出，需要在论文中查找。该框架的自主学习和演化能力是其显著优势。

🎯 应用场景

该研究成果可应用于LLM Web Agent的安全性评估和红队测试，帮助开发者发现并修复潜在的安全漏洞，提高Web Agent的鲁棒性和可靠性。此外，该方法也可推广到其他类型的AI Agent安全评估中，具有广泛的应用前景和实际价值。未来，该研究或可促进更安全的AI Agent应用生态系统的发展。

📄 摘要（原文）

As large language model (LLM) agents increasingly automate complex web tasks, they boost productivity while simultaneously introducing new security risks. However, relevant studies on web agent attacks remain limited. Existing red-teaming approaches mainly rely on manually crafted attack strategies or static models trained offline. Such methods fail to capture the underlying behavioral patterns of web agents, making it difficult to generalize across diverse environments. In web agent attacks, success requires the continuous discovery and evolution of attack strategies. To this end, we propose Genesis, a novel agentic framework composed of three modules: Attacker, Scorer, and Strategist. The Attacker generates adversarial injections by integrating the genetic algorithm with a hybrid strategy representation. The Scorer evaluates the target web agent's responses to provide feedback. The Strategist dynamically uncovers effective strategies from interaction logs and compiles them into a continuously growing strategy library, which is then re-deployed to enhance the Attacker's effectiveness. Extensive experiments across various web tasks show that our framework discovers novel strategies and consistently outperforms existing attack baselines.