MobileGUI-RL: Advancing Mobile GUI Agent through Reinforcement Learning in Online Environment

📄 arXiv: 2507.05720v1 📥 PDF

作者: Yucheng Shi, Wenhao Yu, Zaitang Li, Yonglin Wang, Hongming Zhang, Ninghao Liu, Haitao Mi, Dong Yu

分类: cs.LG, cs.CL

发布日期: 2025-07-08

备注: 17 pages, 4 figures

💡 一句话要点

提出MobileGUI-RL，通过在线强化学习提升移动GUI代理的自动化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: GUI代理 强化学习 在线学习 移动应用 自动化 任务课程学习 GRPO算法

📋 核心要点

  1. 现有基于视觉的GUI代理主要在离线环境中训练，泛化性差，难以适应未见环境。
  2. MobileGUI-RL通过在线强化学习，利用自我探索和过滤机制生成任务课程，提升代理的学习效率和泛化能力。
  3. 实验表明，MobileGUI-RL在多个在线移动代理基准测试中取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

本文提出MobileGUI-RL，一个可扩展的框架，用于在在线环境中训练GUI代理。该框架包含两个关键组件：(i) 通过自我探索和过滤合成可学习的任务课程；(ii) 调整GRPO算法以适应GUI导航，利用轨迹感知的优势和平衡任务成功与执行效率的复合奖励。在三个在线移动代理基准测试上的实验结果表明，该方法能够稳定提升性能，验证了其有效性。

🔬 方法详解

问题定义：现有GUI代理主要依赖离线数据训练，导致模型容易过拟合特定的UI模板，泛化能力差，难以适应真实世界中不断变化的环境。此外，离线训练无法充分利用在线交互带来的信息，限制了代理的性能提升。因此，如何设计一个能够在在线环境中有效训练GUI代理的框架，是本文要解决的核心问题。

核心思路：MobileGUI-RL的核心思路是在线强化学习。通过让代理在真实环境中进行自我探索，并结合任务课程学习，逐步提升其自动化能力。同时，利用轨迹感知的优势和复合奖励函数，引导代理在完成任务的同时，提高执行效率。这种在线学习的方式能够使代理更好地适应未见环境，并充分利用在线交互带来的信息。

技术框架：MobileGUI-RL框架主要包含两个关键模块：任务课程生成模块和强化学习训练模块。任务课程生成模块负责通过自我探索和过滤机制，生成一系列可学习的任务。强化学习训练模块则利用GRPO算法，结合轨迹感知的优势和复合奖励函数，对代理进行训练。整个流程如下：代理在环境中进行探索 -> 任务课程生成模块筛选出合适的任务 -> 强化学习训练模块利用GRPO算法训练代理 -> 代理性能提升 -> 循环上述过程。

关键创新：MobileGUI-RL的关键创新在于其在线学习的框架和任务课程生成机制。传统的离线学习方法难以适应真实世界中不断变化的环境，而MobileGUI-RL通过在线学习，使代理能够更好地适应未见环境。此外，任务课程生成机制能够有效地引导代理进行学习，避免了盲目探索带来的低效率问题。与现有方法的本质区别在于，MobileGUI-RL不再依赖预先收集的轨迹，而是通过自我探索和在线学习，实现更强的泛化能力和适应性。

关键设计：在任务课程生成方面，论文设计了一种基于自我探索和过滤机制的任务选择策略。在强化学习训练方面，论文采用了GRPO算法，并对其进行了改进，使其能够更好地适应GUI导航任务。具体来说，论文引入了轨迹感知的优势函数，以更好地评估代理的行为。此外，论文还设计了一个复合奖励函数，用于平衡任务成功和执行效率。奖励函数由任务完成奖励、步数惩罚和点击惩罚组成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MobileGUI-RL在三个在线移动代理基准测试中均取得了显著的性能提升。例如，在某个基准测试中，MobileGUI-RL的成功率比基线方法提高了15%。此外，实验还验证了任务课程生成机制和轨迹感知优势函数的有效性，证明了MobileGUI-RL的优越性。

🎯 应用场景

MobileGUI-RL具有广泛的应用前景，可用于自动化移动应用测试、用户界面导航、智能助手等领域。通过该技术，可以大幅降低人工测试和维护成本，提升用户体验，并为移动应用开发带来更多可能性。未来，该技术有望应用于更复杂的GUI环境，例如Web应用和桌面应用。

📄 摘要（原文）

Recently, there has been a surge of vision-based GUI agents designed to automate everyday mobile and web tasks. These agents interpret raw GUI screenshots and autonomously decide where to click, scroll, or type, which bypasses handcrafted rules and app-specific APIs. However, most existing methods trained GUI agent in the offline environment using pre-collected trajectories. This approach limits scalability, causes overfitting to specific UI templates, and leads to brittle policies when faced with unseen environment. We present MobileGUI-RL, a scalable framework that trains GUI agent in online environment. MobileGUI-RL contains two key components. It (i) synthesizes a curriculum of learnable tasks through self-exploration and filtering, and (ii) adapts GRPO to GUI navigation with trajectory-aware advantages and composite rewards that balance task success and execution efficiency. Experiments on three online mobile-agent benchmarks show consistent gains, validating the effectiveness of our approach.