Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution
作者: Wanjing Han, Levi Taiji Li, Mu Zhang, Yue Jiang, Guanhong Tao
分类: cs.CR, cs.AI, cs.CL
发布日期: 2026-10-07
备注: 20 pages, 8 figures, 6 tables. Code: https://github.com/MoonTea0416/WebMirage
💡 一句话要点
提出WebMirage框架以解决视觉基础网页代理的控制问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉红队 网页代理 视觉-语言模型 局部扰动 网络安全 数据流分析 自动化测试
📋 核心要点
- 现有的视觉红队方法主要集中在模型推理上，未能有效控制浏览器执行，导致端到端代理的鲁棒性无法可靠评估。
- 本文提出WebMirage框架，将视觉基础网页代理的红队任务视为一个端到端的基础到执行问题，通过局部视觉扰动实现对代理的控制。
- WebMirage在四种代理配置和六种视觉语言模型上进行评估，平均攻击成功率达到91.9%，显示出显著的性能提升。
📝 摘要（中文）
现代网页代理基于大型视觉-语言模型处理网页，选择相关的用户界面元素并将模型输出转换为浏览器操作。现有的视觉红队方法主要针对模型推理，未能有效控制浏览器执行。为此，本文将视觉基础网页代理的红队任务定义为端到端的基础到执行问题，并提出WebMirage框架，通过局部视觉扰动使代理选择攻击者控制的内容并执行相应的浏览器操作。该框架利用角色-槽抽象和网页重组来捕捉网页元素之间的竞争，并通过数据流分析将优化与操作后处理对齐。实验表明，WebMirage在2250个任务中平均攻击成功率达到91.9%，显著高于最强基线的17.4%。
🔬 方法详解
问题定义：本文旨在解决现有视觉红队方法无法有效控制浏览器执行的问题，现有方法主要集中在模型推理，未考虑结构化输入处理和操作后处理的影响。
核心思路：提出WebMirage框架，通过局部视觉扰动使网页代理选择攻击者控制的内容，并执行相应的浏览器操作，解决了端到端的控制问题。
技术框架：WebMirage框架包含角色-槽抽象、网页重组和数据流分析三个主要模块，前者用于捕捉网页元素之间的竞争，后者用于优化与操作后处理的对齐。
关键创新：最重要的创新在于将红队任务定义为端到端的基础到执行问题，并通过局部视觉扰动实现对网页代理的控制，这与现有方法的局限性形成鲜明对比。
关键设计：在设计中，采用了特定的损失函数来优化扰动效果，并通过数据流分析确保优化过程与浏览器操作的有效对接。
🖼️ 关键图片
📊 实验亮点
WebMirage在2250个任务中实现了91.9%的平均攻击成功率，相较于最强基线的17.4%有显著提升，且在面对三种代理级防御时仍保持有效性，展示了其强大的攻击能力和鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括网络安全、自动化测试和人机交互等。通过有效控制网页代理的行为，WebMirage可以帮助开发更安全的网页应用，防止恶意攻击，同时为研究人员提供新的工具来评估和增强代理的鲁棒性。
📄 摘要（原文）
Modern web agents built on large vision-language models process webpages, select relevant UI elements, and translate model outputs into browser actions. Existing visual red-teaming approaches use adversarial visual content to manipulate this process. However, they primarily target model inference and do not explicitly account for structured input processing or action post-processing. Consequently, model-level success does not establish control over browser execution and cannot reliably characterize end-to-end agent robustness. To address this gap, we formulate red teaming for vision-grounded web agents as an end-to-end grounding-to-execution problem, and introduce WebMirage, a framework that crafts localized visual perturbations that cause agents to select attacker-controlled content and execute the corresponding browser action across varying webpage renderings. It uses a role-slot abstraction and webpage recomposition to capture competition among webpage elements, and dataflow analysis to align optimization with action post-processing. We evaluate WebMirage across four agent configurations and six VLM backbones on 2,250 tasks covering 13 public websites and a sandbox benchmark. WebMirage achieves an average attack success rate of 91.9%, compared with 17.4% for the strongest baseline, and remains effective against three agent-level defenses.