EvoCUA: Evolving Computer Use Agents via Learning from Scalable Synthetic Experience

📄 arXiv: 2601.15876v1 📥 PDF

作者: Taofeng Xue, Chong Peng, Mianqiu Huang, Linsen Guo, Tiancheng Han, Haozhe Wang, Jianing Wang, Xiaocheng Zhang, Xin Yang, Dengchang Zhao, Jinrui Ding, Xiandi Ma, Yuchen Xie, Peng Pei, Xunliang Cai, Xipeng Qiu

分类: cs.AI

发布日期: 2026-01-22

备注: 26 pages, 8 figures

💡 一句话要点

EvoCUA：通过可扩展的合成经验学习进化计算机使用Agent

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算机使用Agent 进化学习 合成数据 多模态AI 长时程任务

📋 核心要点

  1. 现有计算机使用Agent受限于静态数据集，难以捕捉长时程任务的复杂因果关系。
  2. EvoCUA通过集成数据生成和策略优化，构建自我维持的进化周期，缓解数据稀缺问题。
  3. EvoCUA在OSWorld基准测试中达到56.7%的成功率，超越现有开源和闭源模型。

📝 摘要（中文）

原生计算机使用Agent（CUA）的开发代表了多模态AI的重大飞跃。然而，它们的发展潜力目前受到静态数据规模限制。现有主要依赖于被动模仿静态数据集的范例，难以捕捉长时程计算机任务中固有的复杂因果动态。本文介绍了EvoCUA，一种原生计算机使用Agent模型。与静态模仿不同，EvoCUA将数据生成和策略优化集成到一个自我维持的进化周期中。为了缓解数据稀缺问题，我们开发了一个可验证的合成引擎，该引擎自主生成多样化的任务以及可执行的验证器。为了实现大规模的经验获取，我们设计了一个可扩展的基础设施，用于协调数万个异步沙箱rollout。基于这些海量轨迹，我们提出了一种迭代的进化学习策略，以有效地内化这些经验。该机制通过识别能力边界来动态调节策略更新——强化成功的例程，同时通过错误分析和自我纠正将失败的轨迹转化为丰富的监督。在OSWorld基准上的实证评估表明，EvoCUA的成功率达到了56.7%，建立了一个新的开源state-of-the-art。值得注意的是，EvoCUA显著优于之前最好的开源模型OpenCUA-72B（45.0%），并超过了领先的闭源模型，如UI-TARS-2（53.1%）。至关重要的是，我们的结果强调了这种方法的通用性：由经验驱动的进化范例在不同规模的基础模型上产生了一致的性能提升，为推进原生Agent能力建立了一条稳健且可扩展的路径。

🔬 方法详解

问题定义：现有计算机使用Agent（CUA）主要依赖静态数据集进行训练，无法有效学习长时程任务中的复杂因果关系。静态数据规模的限制阻碍了Agent能力的进一步提升，尤其是在需要探索和试错的复杂任务中。现有方法难以有效利用失败的经验，缺乏从错误中学习和自我纠正的能力。

核心思路：EvoCUA的核心思路是通过一个自我维持的进化周期，将数据生成和策略优化相结合。Agent不再是被动地模仿静态数据，而是主动地生成任务、执行任务、评估结果，并根据结果调整策略。这种主动学习的方式能够更有效地探索任务空间，并从失败的经验中学习。

技术框架：EvoCUA的技术框架主要包含三个模块：可验证的合成引擎、可扩展的基础设施和迭代进化学习策略。可验证的合成引擎负责自主生成多样化的任务和可执行的验证器，为Agent提供丰富的训练数据。可扩展的基础设施负责协调数万个异步沙箱rollout，实现大规模的经验获取。迭代进化学习策略负责根据Agent的执行结果动态调节策略更新，强化成功的例程，并将失败的轨迹转化为丰富的监督。

关键创新：EvoCUA最重要的技术创新点在于其进化学习范式，它将数据生成和策略优化集成到一个闭环系统中。与传统的静态模仿学习相比，EvoCUA能够更有效地探索任务空间，并从失败的经验中学习。此外，EvoCUA还引入了可验证的合成引擎，能够自主生成多样化的任务，缓解了数据稀缺问题。

关键设计：EvoCUA的关键设计包括：1) 可验证的合成引擎，用于生成多样化的任务和验证器；2) 可扩展的基础设施，用于支持大规模的异步rollout；3) 迭代进化学习策略，用于动态调节策略更新。具体的技术细节包括任务生成策略、奖励函数设计、策略更新算法等。论文中可能还涉及特定的网络结构和参数设置，但具体细节需要参考原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EvoCUA在OSWorld基准测试中取得了显著的成果，成功率达到56.7%，刷新了开源模型的state-of-the-art。EvoCUA显著优于之前的最佳开源模型OpenCUA-72B（45.0%），并超过了领先的闭源模型UI-TARS-2（53.1%）。实验结果表明，EvoCUA的进化学习范式具有良好的通用性，能够在不同规模的基础模型上实现一致的性能提升。

🎯 应用场景

EvoCUA的研究成果可应用于自动化办公、智能助手、软件测试等领域。通过自主学习和进化，Agent能够更好地理解用户意图，完成复杂的计算机操作任务，提高工作效率和用户体验。未来，该技术有望应用于更广泛的领域，例如机器人控制、游戏AI等。

📄 摘要（原文）

The development of native computer-use agents (CUA) represents a significant leap in multimodal AI. However, their potential is currently bottlenecked by the constraints of static data scaling. Existing paradigms relying primarily on passive imitation of static datasets struggle to capture the intricate causal dynamics inherent in long-horizon computer tasks. In this work, we introduce EvoCUA, a native computer use agentic model. Unlike static imitation, EvoCUA integrates data generation and policy optimization into a self-sustaining evolutionary cycle. To mitigate data scarcity, we develop a verifiable synthesis engine that autonomously generates diverse tasks coupled with executable validators. To enable large-scale experience acquisition, we design a scalable infrastructure orchestrating tens of thousands of asynchronous sandbox rollouts. Building on these massive trajectories, we propose an iterative evolving learning strategy to efficiently internalize this experience. This mechanism dynamically regulates policy updates by identifying capability boundaries -- reinforcing successful routines while transforming failure trajectories into rich supervision through error analysis and self-correction. Empirical evaluations on the OSWorld benchmark demonstrate that EvoCUA achieves a success rate of 56.7%, establishing a new open-source state-of-the-art. Notably, EvoCUA significantly outperforms the previous best open-source model, OpenCUA-72B (45.0%), and surpasses leading closed-weights models such as UI-TARS-2 (53.1%). Crucially, our results underscore the generalizability of this approach: the evolving paradigm driven by learning from experience yields consistent performance gains across foundation models of varying scales, establishing a robust and scalable path for advancing native agent capabilities.