Mano Technical Report

📄 arXiv: 2509.17336v3 📥 PDF

作者: Tianyu Fu, Anyang Su, Chenxu Zhao, Hanning Wang, Minghui Wu, Zhe Yu, Fei Hu, Mingjia Shi, Wei Dong, Jiayao Wang, Yuyang Chen, Ruiyang Yu, Siran Peng, Menglin Li, Nan Huang, Haitian Wei, Jiawei Yu, Yi Xin, Xilin Zhao, Kai Gu, Ping Jiang, Sifan Zhou, Shuo Wang

分类: cs.MM, cs.CL, cs.CV

发布日期: 2025-09-22 (更新: 2025-10-31)

💡 一句话要点

Mano：基于多模态预训练模型和强化学习的GUI交互智能体

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GUI自动化 人机交互 视觉-语言模型 强化学习 多模态学习 预训练模型 智能体

📋 核心要点

  1. 现有GUI交互方法在视觉元素理解、动态环境适应和多步骤推理方面存在不足，限制了自动化水平。
  2. Mano通过多模态预训练模型、模拟环境数据生成、三阶段训练和错误恢复模块，提升GUI交互智能体的鲁棒性。
  3. 实验表明，Mano在Mind2Web和OSWorld等基准测试中取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

图形用户界面(GUI)是人机交互的主要媒介，但由于视觉元素的复杂性、动态环境以及多步骤推理的需求，GUI交互的自动化仍然具有挑战性。现有的基于视觉-语言模型(VLM)的方法通常受到分辨率限制、领域不匹配和序列决策能力不足的困扰。为了解决这些问题，我们提出了Mano，一个强大的GUI智能体，它建立在预先在大量Web和计算机系统数据上训练的多模态基础模型之上。我们的方法集成了一个用于高保真数据生成的新型模拟环境、一个三阶段训练流程（监督微调、离线强化学习和在线强化学习）以及一个用于错误恢复的验证模块。Mano在包括Mind2Web和OSWorld在内的多个GUI基准测试中表现出最先进的性能，在成功率和操作准确性方面取得了显著提高。我们的工作为强化学习与VLM的有效集成以实现实际GUI智能体部署提供了新的见解，突出了领域特定数据、迭代训练和整体奖励设计的重要性。

🔬 方法详解

问题定义：现有基于视觉-语言模型的GUI交互方法，面临着分辨率不足，导致无法准确识别GUI元素；领域不匹配，即训练数据与实际应用场景存在差异；以及序列决策能力不足，难以完成复杂的多步骤交互任务等问题。这些问题限制了GUI交互智能体的实用性。

核心思路：Mano的核心思路是利用大规模预训练的多模态基础模型，结合强化学习，提升GUI智能体的感知、推理和决策能力。通过模拟环境生成高质量的训练数据，并采用迭代式的训练策略，逐步提升智能体的性能和鲁棒性。

技术框架：Mano的整体框架包含以下几个主要模块：1) 模拟环境：用于生成高保真度的GUI交互数据。2) 多模态基础模型：作为智能体的核心，负责感知GUI环境并生成操作指令。3) 三阶段训练流程：包括监督微调（SFT）、离线强化学习（Offline RL）和在线强化学习（Online RL），逐步提升智能体的性能。4) 验证模块：用于检测和纠正智能体的错误操作。

关键创新：Mano的关键创新在于将多模态预训练模型与强化学习相结合，并设计了一个迭代式的训练流程。通过模拟环境生成领域特定的数据，解决了领域不匹配的问题。三阶段训练流程使得智能体能够逐步学习到复杂的GUI交互策略。验证模块则提高了智能体的鲁棒性。

关键设计：Mano使用了Transformer架构的多模态模型，输入包括GUI的视觉信息和用户的自然语言指令。在三阶段训练中，SFT阶段使用人工标注的数据进行微调，Offline RL阶段使用预先收集的交互数据进行训练，Online RL阶段则与真实环境进行交互，并根据奖励信号进行学习。奖励函数的设计至关重要，需要综合考虑任务完成度、操作效率和安全性等因素。具体参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Mano在Mind2Web和OSWorld等GUI基准测试中取得了显著的性能提升，达到了state-of-the-art水平。具体性能数据和提升幅度在摘要中有所提及，但未给出具体数值。实验结果验证了Mano在GUI交互任务中的有效性和优越性。

🎯 应用场景

Mano具有广泛的应用前景，可用于自动化软件测试、智能助手、辅助残疾人使用计算机等领域。通过自动执行重复性任务，可以提高工作效率，降低人工成本。未来，Mano有望成为人机交互的重要组成部分，实现更加智能和便捷的人机协作。

📄 摘要（原文）

Graphical user interfaces (GUIs) are the primary medium for human-computer interaction, yet automating GUI interactions remains challenging due to the complexity of visual elements, dynamic environments, and the need for multi-step reasoning. Existing methods based on vision-language models (VLMs) often suffer from limited resolution, domain mismatch, and insufficient sequential decisionmaking capability. To address these issues, we propose Mano, a robust GUI agent built upon a multi-modal foundation model pre-trained on extensive web and computer system data. Our approach integrates a novel simulated environment for high-fidelity data generation, a three-stage training pipeline (supervised fine-tuning, offline reinforcement learning, and online reinforcement learning), and a verification module for error recovery. Mano demonstrates state-of-the-art performance on multiple GUI benchmarks, including Mind2Web and OSWorld, achieving significant improvements in success rate and operational accuracy. Our work provides new insights into the effective integration of reinforcement learning with VLMs for practical GUI agent deployment, highlighting the importance of domain-specific data, iterative training, and holistic reward design.