Hijacking JARVIS: Benchmarking Mobile GUI Agents against Unprivileged Third Parties
作者: Guohong Liu, Jialei Ye, Jiacheng Liu, Yuanchun Li, Wei Liu, Pengzhi Gao, Jian Luan, Yunxin Liu
分类: cs.CR, cs.AI
发布日期: 2025-07-06
💡 一句话要点
AgentHazard：首个针对移动GUI代理抗恶意第三方内容攻击的评测基准
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动GUI代理 安全性评估 恶意攻击 AgentHazard 漏洞分析
📋 核心要点
- 现有移动GUI代理在真实场景中易受恶意第三方操纵屏幕内容的攻击，缺乏系统性的安全性评估。
- 提出AgentHazard框架，通过模拟各种攻击场景，评估GUI代理在面对恶意内容时的脆弱性。
- 实验表明，现有GUI代理易受误导性内容影响，平均误导率高达28.8%，且漏洞与感知模态和LLM相关。
📝 摘要（中文）
移动GUI代理旨在通过理解和交互移动屏幕来自动执行各种设备控制任务。尽管取得了显著进展，但它们在屏幕内容可能被不可信第三方部分操纵的真实场景中的弹性在很大程度上仍未被探索。由于其黑盒和自主特性，这些代理容易受到可能损害用户设备的操纵。本文首次系统地研究了移动GUI代理的漏洞。我们提出了一个可扩展的攻击模拟框架AgentHazard，它能够在现有应用程序中灵活且有针对性地修改屏幕内容。利用该框架，我们开发了一个全面的基准测试套件，包括一个动态任务执行环境和一个静态的视觉-语言-动作元组数据集，总计超过3,000个攻击场景。动态环境包含在模拟器中58个可复现的任务，具有各种类型的危险UI内容，而静态数据集由从14个流行的商业应用程序收集的210个屏幕截图构建。重要的是，我们的内容修改被设计为对非特权第三方可行。我们使用我们的基准评估了7个广泛使用的移动GUI代理和5个常见的骨干模型。我们的研究结果表明，所有被检查的代理都受到误导性第三方内容的显着影响（在人工设计的攻击场景中，平均误导率为28.8%），并且它们的漏洞与所采用的感知模式和骨干LLM密切相关。此外，我们评估了基于训练的缓解策略，突出了增强移动GUI代理鲁棒性的挑战和机遇。我们的代码和数据将在https://agenthazard.github.io上发布。
🔬 方法详解
问题定义：移动GUI代理旨在自动化设备控制任务，但其黑盒特性使其容易受到恶意第三方的攻击。这些攻击者可以通过修改屏幕内容来误导代理，导致设备被错误操作，从而损害用户利益。现有方法缺乏对这种攻击的有效防御和系统评估。
核心思路：AgentHazard的核心思路是构建一个可扩展的攻击模拟框架，该框架能够灵活地在现有应用程序中修改屏幕内容，从而模拟各种恶意攻击场景。通过在这种受控环境中评估GUI代理的性能，可以系统地识别其漏洞并探索潜在的防御策略。
技术框架：AgentHazard框架包含两个主要组成部分：动态任务执行环境和静态数据集。动态环境包含在模拟器中运行的58个可复现任务，这些任务涉及各种类型的危险UI内容。静态数据集由从14个流行的商业应用程序收集的210个屏幕截图构建，并标注了视觉-语言-动作元组。该框架允许研究人员灵活地修改屏幕内容，例如插入广告、更改文本或添加干扰元素。
关键创新：AgentHazard的关键创新在于其能够模拟非特权第三方可以实施的攻击。这意味着攻击者不需要root权限或访问应用程序的源代码，而是可以通过覆盖或修改屏幕上的内容来实施攻击。这种攻击方式更贴近真实世界的威胁模型，也更难以防御。
关键设计：AgentHazard的关键设计包括：1) 灵活的屏幕内容修改机制，允许研究人员自定义攻击类型和强度；2) 详细的任务定义和评估指标，用于量化GUI代理的性能；3) 包含多种类型恶意UI内容的动态环境和静态数据集，以覆盖各种攻击场景。此外，论文还评估了基于训练的缓解策略，例如对抗训练和数据增强，以提高GUI代理的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有7个主流移动GUI代理在面对AgentHazard生成的恶意内容时，平均误导率高达28.8%。研究还发现，GUI代理的漏洞与所采用的感知模态（例如视觉或语言）以及骨干LLM密切相关。此外，对抗训练等缓解策略在一定程度上可以提高代理的鲁棒性，但仍面临挑战。
🎯 应用场景
该研究成果可应用于提升移动设备的安全性和用户体验。通过AgentHazard框架，开发者可以系统地评估和改进GUI代理的安全性，减少因恶意第三方攻击造成的损失。此外，该研究也为开发更鲁棒的移动自动化测试工具提供了参考。
📄 摘要（原文）
Mobile GUI agents are designed to autonomously execute diverse device-control tasks by interpreting and interacting with mobile screens. Despite notable advancements, their resilience in real-world scenarios where screen content may be partially manipulated by untrustworthy third parties remains largely unexplored. Owing to their black-box and autonomous nature, these agents are vulnerable to manipulations that could compromise user devices. In this work, we present the first systematic investigation into the vulnerabilities of mobile GUI agents. We introduce a scalable attack simulation framework AgentHazard, which enables flexible and targeted modifications of screen content within existing applications. Leveraging this framework, we develop a comprehensive benchmark suite comprising both a dynamic task execution environment and a static dataset of vision-language-action tuples, totaling over 3,000 attack scenarios. The dynamic environment encompasses 58 reproducible tasks in an emulator with various types of hazardous UI content, while the static dataset is constructed from 210 screenshots collected from 14 popular commercial apps. Importantly, our content modifications are designed to be feasible for unprivileged third parties. We evaluate 7 widely-used mobile GUI agents and 5 common backbone models using our benchmark. Our findings reveal that all examined agents are significantly influenced by misleading third-party content (with an average misleading rate of 28.8% in human-crafted attack scenarios) and that their vulnerabilities are closely linked to the employed perception modalities and backbone LLMs. Furthermore, we assess training-based mitigation strategies, highlighting both the challenges and opportunities for enhancing the robustness of mobile GUI agents. Our code and data will be released at https://agenthazard.github.io.