AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model

📄 arXiv: 2610.08773v1 📥 PDF

作者: Sarim Hashmi, Mukul Ranjan, Kshitij Mishra, Mikhail Kuznetsov, Praneeth Vepakomma, Nils Lukas

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-06

备注: Code at https://github.com/Sarim-MBZUAI/advsim2real

💡 一句话要点

提出AdvSim2Real以解决Web代理在动态注入攻击下的鲁棒性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: Web代理 动态注入攻击 鲁棒性 对抗训练 任务课程 智能系统 自动化交互

📋 核心要点

  1. 现有方法在面对动态注入攻击时缺乏鲁棒性，攻击者能够轻易绕过固定的防御机制。
  2. AdvSim2Real通过共同演化任务课程、注入对手和代理，提升了代理在动态环境中的适应能力。
  3. 在150个Web任务中，AdvSim2Real使得代理在未见对手下的完成率提高了33.6%，显示出显著的性能提升。

📝 摘要（中文）

Web代理通过读取第三方编写的页面来完成用户请求，然而页面中的指令可能会将代理引导偏离用户目标。现有防御方法在训练前对固定注入进行微调，攻击者可以适应训练模型并绕过这些防御。本文提出AdvSim2Real，通过在冻结的Web世界模型中共同演化任务课程、注入对手和代理，使得代理在面对动态注入攻击时更具鲁棒性。实验表明，AdvSim2Real在150个Web任务上，相较于基础代理，在未见对手下的完成率提高了33.6%。

🔬 方法详解

问题定义：本文旨在解决Web代理在面对动态注入攻击时的鲁棒性问题。现有方法主要依赖于固定的注入防御，无法适应攻击者的变化，导致代理容易被引导偏离目标。

核心思路：AdvSim2Real的核心思路是共同演化任务课程、注入对手和代理，使得代理在训练过程中能够适应不断变化的攻击策略，从而提高其完成任务的能力和鲁棒性。

技术框架：该方法在一个冻结的Web世界模型中进行训练，包含三个主要模块：任务课程、注入对手和代理。任务课程根据代理的表现进行调整，注入对手则专注于使成功转变为失败的注入策略。

关键创新：AdvSim2Real的创新在于其动态的任务课程设计和注入对手的适应性，使得代理能够在训练过程中不断提升其应对能力，与现有静态防御方法形成鲜明对比。

关键设计：在训练过程中，任务课程的奖励机制设定为代理解决任务的成功率约为50%，而注入对手则仅在成功翻转时获得奖励，这种设计使得代理在面对复杂环境时能够保持高效的学习和适应能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在150个Web任务的实验中，AdvSim2Real使得代理在未见对手下的完成率提高了33.6%，相较于基础代理表现出显著的性能提升。这一结果表明，动态适应性训练能够有效增强代理的鲁棒性。

🎯 应用场景

AdvSim2Real的研究成果在多个领域具有潜在应用价值，尤其是在自动化Web交互、智能客服和在线服务等场景中。通过提高代理在动态环境中的鲁棒性，可以显著提升用户体验和服务质量，未来可能推动更智能的Web代理系统的发展。

📄 摘要（原文）

Web agents complete user requests by reading and acting on pages that third parties write, so an instruction planted on a page can redirect the agent away from the user's goal. The agent cannot simply ignore the page, because the page also holds the values and controls the task requires. Current defenses fine-tune the agent on injections fixed before training, and attackers that adapt to the trained model bypass them. Adversarial training lets the attacker adapt but keeps the tasks fixed, so a task stops teaching once the agent solves it. We introduce AdvSim2Real, which co-evolves a task curriculum, an injection adversary, and the agent inside a frozen web world model. The curriculum is rewarded for tasks the agent solves about half of the time, and the adversary only for a success flip, an injection that turns a judged success into a failure. Training in the simulator makes a 4B agent both more capable and more robust: its completion rises with and without attacks, holds against a frontier-model adversary it never trained against, and its capability gain carries over to a real browser. On 150 web tasks, AdvSim2Real raises completion under this unseen adversary by 33.6\% relative to the base agent.