Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents

📄 arXiv: 2610.11942v1 📥 PDF

作者: Jiaming Zhang, Xuan Wang, Fuyao Zhang, Yang Cao, Lingjuan Lyu, Wei Yang Bryan Lim

分类: cs.CV

发布日期: 2026-10-08

💡 一句话要点

提出LGWM以解决GUI代理安全性验证问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: GUI安全性 世界模型 状态转移 验证方法 深度学习

📋 核心要点

  1. 现有的GUI安全性验证方法主要依赖于屏幕内容，无法有效判断操作后的状态转移是否安全。
  2. 本文提出的LGWM模型通过直接预测下一个屏幕的表示，避免了传统方法的复杂性，简化了验证过程。
  3. 在RSWT-BENCH的实验中，LGWM模型的AUC达到0.987，决策延迟仅为17毫秒，表现优于现有闭源模型和生成型模型。

📝 摘要（中文）

在GUI代理中，安全性不仅取决于屏幕本身，还取决于操作后的状态转移。现有的GUI世界模型通常以文本、代码或图像形式输出期望结果，导致需要额外模型进行验证。本文提出了一种无解码器、基于动作条件的世界模型LGWM，直接预测下一个屏幕的表示，经过185万次真实GUI转移训练。通过向量比较进行验证，实验结果显示该模型在RSWT-BENCH上达到0.987的AUC，且决策延迟仅为17毫秒，显著优于现有生成型GUI世界模型。

🔬 方法详解

问题定义：本文旨在解决GUI代理中的安全性验证问题，现有方法仅依赖屏幕内容，无法有效判断操作后的状态转移是否安全，容易被攻击者利用。

核心思路：提出LGWM模型，通过直接预测下一个屏幕的表示，而非依赖文本或图像输出，简化了验证过程并提高了准确性。

技术框架：LGWM模型的整体架构包括输入动作、状态表示和输出预测，模型通过训练学习从当前状态到下一个状态的映射关系。

关键创新：LGWM的最大创新在于其无解码器设计，直接在表示空间中进行预测，使得验证过程仅需向量比较，显著提高了效率和准确性。

关键设计：模型训练过程中不依赖语义标注，使用185万次真实GUI转移数据，损失函数设计为最小化预测表示与实际观察之间的差异，确保模型的泛化能力。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，LGWM模型在RSWT-BENCH上达到0.987的AUC，决策延迟仅为17毫秒，性能与最强闭源VLM相当，且比生成型GUI世界模型高出约十个AUC点，展现出显著的效率优势。

🎯 应用场景

该研究的潜在应用领域包括金融、电子商务等需要用户身份验证的GUI系统。通过提高安全性验证的准确性和效率，能够有效防止恶意攻击，提升用户体验和系统安全性。未来，该方法还可扩展至其他类型的交互界面验证。

📄 摘要（原文）

A login screen that appears after a tap on Sign in is expected; the same screen after a tap on View order is an attack. For GUI agents, safety is therefore a property of the transition rather than of the screen, and a monitor that inspects only screens can be defeated by reusing a legitimate one. Judging a transition requires an expectation of what should have followed the action. Existing GUI world models provide one, but they output it as text, code, or images, so checking it against the observed screen requires a second model to judge the two. We argue that a world model meant for verification should instead predict in the space in which observations are encoded, and present LGWM, a decoder-free, action-conditioned world model that predicts the representation of the next screen directly, trained without semantic annotation on 1.85M real GUI transitions. Verification reduces to a vector comparison, and the same signal reveals whether a mismatch is harmful. We evaluate on RSWT-BENCH, a diagnostic where each credential screen appears under both a legitimate and a hijacked transition, so detectors that see only the screen are at chance by construction. The training-free score reaches 0.987 AUC at 17 ms per decision, on par with the strongest closed-source VLMs and about ten AUC points above generative GUI world models at over three orders of magnitude lower latency. The residual direction reaches 0.953 AUC at separating harmful from benign violations, where prompted VLMs are near chance. Further analyses show that the prediction is a usable future state rather than an anomaly score. World models have mostly served as simulators or planners; our results point to a third role, verification, for which predicting in representation space is the natural design.