Agent World Model in the Wild: Computer-Use Agent Environment Synthesis

📄 arXiv: 2610.26828v1 📥 PDF

作者: Zhaoyang Wang, Qianhui Wu, Haorui Wang, Simon Yu, Baolin Peng, Canwen Xu, Hao Cheng, Wenlin Yao, Boyi Liu, Yite Wang, Jianfeng Gao, Huaxiu Yao

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-10-19

备注: 35 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出WildAWM以合成可控环境解决计算机使用代理训练问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 计算机使用代理 环境合成 任务合成 开源模型 代理学习 质量验证 泛化能力

📋 核心要点

  1. 现有方法在真实计算机系统中扩展代理学习面临挑战，且可能带来安全风险。
  2. 提出WildAWM，通过合成可控环境和任务，支持多种交互接口，提升代理学习的灵活性。
  3. 在合成的环境中训练的Qwen模型在8个不同基准测试中表现出显著提升，展示了良好的泛化能力。

📝 摘要（中文）

代理学习正从依赖人类数据转向通过与世界的互动进行学习。然而，直接在真实计算机系统中扩展这种学习面临挑战，并可能引入安全风险。因此，本文提出了WildAWM，一个可扩展的管道，用于合成可控环境和任务，以训练通用计算机使用代理（CUAs）。与现有方法通常专注于单一代理交互接口不同，WildAWM构建了可执行环境，支持图形用户界面、模型上下文协议服务和命令行接口的联合使用。该方法完全基于开源模型，展示了高质量计算机使用环境的生成能力。通过引入基于执行的质量门，解决了任务合成中的可解性、难度保持和可靠性验证等挑战。最终合成了341对长时间环境-任务对，GPT-6-Astra仅能解决其中60%。

🔬 方法详解

问题定义：本文旨在解决在真实计算机系统中扩展代理学习的困难，现有方法往往局限于单一交互接口，难以满足多样化的学习需求。

核心思路：WildAWM通过合成可控的计算机使用环境，结合图形用户界面、命令行和协议服务，提供灵活的学习场景，旨在提升代理的学习能力和适应性。

技术框架：WildAWM的整体架构包括环境合成模块、任务合成模块和质量验证模块。环境合成模块生成多种交互环境，任务合成模块设计多样化的任务，而质量验证模块则确保合成任务的可解性和难度。

关键创新：引入执行基础的质量门，通过异构代理的回滚、交叉判断一致性检查和反事实探测，解决了任务合成中的可解性、难度和验证问题，显著提升了合成任务的质量。

关键设计：在合成过程中，采用了多种开源模型，确保生成环境的多样性和复杂性，同时设计了针对不同任务的损失函数和评估标准，以保证合成任务的有效性和挑战性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，合成的341对长时间环境-任务对中，GPT-6-Astra仅能解决60%。在这些合成环境中训练的Qwen模型在8个不同的基准测试中表现出显著提升，展示了良好的泛化能力，表明WildAWM的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动化办公、软件测试和人机交互等。通过合成多样化的计算机使用环境，能够有效提升代理的学习效率和适应能力，推动智能代理在实际应用中的广泛使用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Agent learning is shifting from learning from human data toward learning through interaction with the world. However, scaling such learning directly in real-world computer systems is challenging and can introduce substantial security risks. We therefore propose Agent World Model in the Wild (WildAWM), a scalable pipeline for synthesizing controllable environments and tasks for training general computer-use agents (CUAs). Whereas existing approaches typically specialize in a single agent interaction interface, we construct executable environments that jointly support graphical user interfaces, model context protocol services, and command-line interfaces, allowing agents to flexibly combine visual interaction, tool use, and code execution. WildAWM is entirely powered by open-source models, demonstrating that high-quality computer-use environments can be generated without proprietary frontier models. Beyond environments, we address three recurring challenges in task synthesis: ensuring solvability, maintaining sufficient difficulty, and producing reliable verifiers, by introducing execution-based quality gates that combine heterogeneous agent rollouts, cross-judge consistency checks, and counterfactual probes of judgment robustness. The resulting pipeline synthesizes 341 long-horizon environment-task pairs that can require over 100 agent steps to solve and remain challenging even for frontier models, with GPT-6-Astra solving only 60% of them. We train two Qwen models of different sizes exclusively in these synthetic worlds. Both models achieve substantial gains across 8 out-of-distribution benchmarks spanning web, claw, and computer-use agents, demonstrating that learning in WildAWM's synthesized worlds generalizes broadly to unseen computer-use tasks. The code is publicly available at https://github.com/MSR-Orchard/WildAWM.