Imagine to Act: High-Fidelity Data Synthesis via Image Editing World Model for Scalable GUI Agent Training

📄 arXiv: 2610.05861v1 📥 PDF

作者: Yongxin Ning, Runliang Niu, Qianli Xing, Zhiyi Duan, Qingzu He, Pan Wang, Qi Wang

分类: cs.CV, cs.AI

发布日期: 2026-10-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出Infinite-Dreamer以解决高保真数据合成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图形用户界面 数据合成 视觉-语言模型 图像编辑 自动化测试

📋 核心要点

  1. 现有方法依赖文本或HTML渲染，无法捕捉像素级的视觉细节，导致训练数据不足。
  2. 提出Infinite-Dreamer，通过将GUI转换视为图像编辑任务，利用VLM生成高保真数据。
  3. 实验结果显示，Infinite-Actor在多个基准上超越Qwen3-VL，AndroidWorld Pass@1提升4.45，MobileWorld Pass@3几乎翻倍。

📝 摘要（中文）

图形用户界面（GUI）代理已成为自动化复杂数字工作流的有前景的范式。然而，训练高能力和可泛化的代理基本上依赖于大量高保真的视觉-动作轨迹，这些轨迹难以获取。现有的GUI世界模型依赖于文本描述或HTML渲染，忽略了重要的像素级视觉细节。为了解决这个问题，本文提出了一种无模拟的数据合成方法Infinite-Dreamer，利用像素级图像编辑世界模型。通过将GUI转换概念化为图像编辑任务，利用视觉-语言模型（VLM）描述动作引起的UI变化为结构化的增量文本，进而合成真实的屏幕截图过渡。实验结果表明，基于合成数据微调的Infinite-Actor在多个基准测试中表现优异。

🔬 方法详解

问题定义：现有的GUI世界模型无法有效捕捉像素级的视觉细节，导致训练高效能代理所需的高保真数据难以获取。现有方法通常依赖于文本描述或HTML渲染，无法提供足够的视觉信息。

核心思路：本文提出Infinite-Dreamer，将GUI转换视为图像编辑任务，利用视觉-语言模型（VLM）生成结构化的增量文本，从而合成真实的屏幕截图过渡。通过这种方式，可以有效地生成高保真的视觉数据。

技术框架：整体流程包括三个主要模块：首先，使用VLM描述UI变化；其次，微调图像编辑模型以合成截图过渡；最后，生成单帧视觉数据和多步虚拟轨迹。

关键创新：最重要的创新在于将GUI转换任务与图像编辑结合，利用像素级信息生成高保真数据，这与传统依赖文本或HTML的方式有本质区别。

关键设计：在模型设计中，采用了特定的损失函数以确保合成图像的质量，同时对网络结构进行了优化，以提高合成效率和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于合成数据微调的Infinite-Actor在AndroidWorld和MobileWorld基准测试中表现优异，AndroidWorld Pass@1提升4.45，MobileWorld Pass@3成功率几乎翻倍，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动化软件测试、用户界面设计和智能助手等。通过生成高保真的数据，能够有效提升GUI代理的训练效率和性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Graphical User Interface (GUI) agents have emerged as a promising paradigm for automating complex digital workflows across diverse applications. However, training highly capable and generalizable agents fundamentally relies on massive, high-fidelity visual-action trajectories, which are notoriously difficult to acquire. While human demonstrations are unscalable, existing GUI world models rely on text descriptions or HTML rendering, discarding crucial pixel-level visual details like icons and layout styles. To address this issue, we introduce Infinite-Dreamer, a simulation-free data synthesis method powered by a pixel-level Image Editing World Model. By conceptualizing GUI transitions as image editing tasks, we leverage Vision-Language Models (VLMs) to describe action-induced UI changes as structured delta-text. We then fine-tune an image editing backbone to controllably synthesize realistic screenshot transitions. We utilize this model to generate both single-frame visual robustness data and multi-step imaginary trajectories. To validate the effectiveness of our approach, we fine-tune the Qwen3-VL baseline solely on the synthesized data to obtain Infinite-Actor, and evaluate it on AndroidWorld, MobileWorld, and AndroidControl-Curated benchmarks. Infinite-Actor consistently outperforms the Qwen3-VL baselines across scales: Infinite-Actor-8B improves AndroidWorld Pass@1 by +4.45 and nearly doubles the MobileWorld Pass@3 success rate, while Infinite-Actor-2B improves Pass@1 by +9.05. Code is available at https://github.com/swaydy-n/Infinite-Dreamer.