AutoGUIWorld: Image Generators as Visual World Models for GUI Agent

📄 arXiv: 2610.01215v1 📥 PDF

作者: Cheng Yang, Yifan Wu, Yutao Huang, Zhaohua Zhang, Beiduo Chen, Muxi Chen, Chenchen Zhao, Hexuan Deng, Haolin Yang, Geyuan Zhu, Sa Zhu, Jianhuan Zhuo, Qiuyong Xiao, Jianhao Ruan, Yiran Peng, Jiayi Zhang, Tian Ye, Xinlei Yu, Tianwen Jiang, Jihong Zhang, Yuyu Luo

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出AutoGUIWorld以生成高质量GUI交互轨迹

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: GUI代理 数据生成 图像生成 任务规划 机器学习 自动化测试 人机交互

📋 核心要点

  1. 现有方法在生成多样化的GUI交互轨迹时面临应用程序和环境限制，导致学习效果不佳。
  2. AutoGUIWorld框架通过结合图像生成器和规划器的能力，能够在不依赖真实软件环境的情况下生成交互轨迹。
  3. 实验表明，使用AutoGUIWorld生成的轨迹显著提高了GUI代理在实际任务中的表现，任务成功率提升超过18%。

📝 摘要（中文）

GUI代理需要高质量的交互轨迹来学习软件环境对操作的响应、状态维护及多步骤工作流的支持。然而，现有轨迹的多样性受到应用程序、界面状态和工作流的限制。为扩展这一覆盖范围，AutoGUIWorld框架结合了图像生成器的视觉先验与规划器的任务知识，能够在不部署或运行相应软件环境的情况下合成GUI交互轨迹。该框架从操作系统上下文、视觉外观和界面状态的结构化规范中采样初始GUI场景，并基于这些场景生成任务。通过对Qwen3.5-35B-A3B进行微调，AutoGUIWorld轨迹显著提高了在OSWorld和ScienceBoard上的任务得分和成功率。

🔬 方法详解

问题定义：本论文旨在解决现有GUI代理在学习交互轨迹时面临的多样性不足问题。现有方法依赖真实软件环境，导致生成的轨迹受限，影响学习效果。

核心思路：AutoGUIWorld通过结合图像生成器的视觉先验和规划器的任务知识，能够在不运行真实软件的情况下合成多样化的GUI交互轨迹，从而扩展学习数据的覆盖范围。

技术框架：整体架构包括三个主要模块：首先，从结构化规范中采样初始GUI场景；其次，生成基于这些场景的任务；最后，规划器指定原子动作及其视觉后果，图像生成器迭代编辑当前截图以生成后续观察。

关键创新：最重要的创新在于将图像生成技术与任务规划相结合，突破了传统方法对真实环境的依赖，实现了高效的轨迹生成。

关键设计：在设计中，采用了空间注释的步骤级训练样本，确保生成的轨迹具有高质量和多样性。同时，使用了特定的损失函数和网络结构以优化生成过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，微调Qwen3.5-35B-A3B模型后，任务得分在OSWorld上从33.0%提升至40.8%，在ScienceBoard上的任务成功率从14.0%提升至32.2%。这些结果表明，AutoGUIWorld生成的轨迹显著改善了GUI代理在实际任务中的表现。

🎯 应用场景

该研究的潜在应用领域包括自动化测试、软件开发和人机交互等。通过生成高质量的GUI交互轨迹，能够有效提升GUI代理的学习效率和应用性能，推动智能软件的开发与应用。未来，AutoGUIWorld有望在更广泛的领域中应用，促进智能系统的普及与发展。

📄 摘要（原文）

GUI agents require high-quality interaction trajectories to learn how software environments respond to actions, maintain state, and support multi-step workflows. However, the diversity of available trajectories is constrained by the applications, interface states, and workflows accessible in the underlying environments. Expanding this coverage requires deploying increasingly diverse and complex software, with specialized applications imposing additional installation, configuration, and runtime costs. We introduce AutoGUIWorld, a data generation framework that combines the visual priors of image generators with the task knowledge of a planner to synthesize GUI interaction trajectories without deploying or running the corresponding software environments. AutoGUIWorld samples initial GUI scenes from structured specifications of operating-system context, visual appearance, and interface state, and generates tasks conditioned on those scenes. A planner then specifies atomic actions and their intended visual consequences, while an image generator iteratively edits the current screenshot to produce subsequent observations. Action grounding and transition-level quality filtering yield 79,266 spatially annotated step-level training samples across Ubuntu, Windows, macOS, and Chrome. Fine-tuning Qwen3.5-35B-A3B on AutoGUIWorld trajectories improves the mean task score on OSWorld from 33.0% to 40.8% and the task success rate on ScienceBoard from 14.0% to 32.2%. These results show that generated trajectories improve GUI-agent performance on real desktop and scientific tasks.