Adaptation of Computer Use Agents to New Software with User Manuals

📄 arXiv: 2610.23012v1 📥 PDF

作者: Chulhoon Yoon, Kyungri Park, Jinyeong Yun, Daeyun Jeong, Sukmin Yun, Woohwan Jung

分类: cs.AI

发布日期: 2026-10-16

备注: 21 pages, 3 figures, 14 tables. Code: https://github.com/ku-autoai/MAGE

🔗 代码/项目: GITHUB

💡 一句话要点

提出MAGE框架以提升计算机使用代理对新软件的适应性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 计算机使用代理 用户手册 程序知识 策略适应 多模态模型

📋 核心要点

  1. 现有方法在未见软件应用中保持高性能面临挑战，尤其是在长时间程序知识和特定操作模式的需求上。
  2. MAGE框架通过利用用户手册作为程序知识源，改进了计算机使用代理的推理和训练过程。
  3. 实验结果表明，MAGE在六个应用中的任务成功率显著高于强基线，验证了其有效性。

📝 摘要（中文）

近年来，多模态基础模型的进步显著提升了通过图形用户界面（GUI）操作现实软件的能力。然而，在未见应用上保持强性能仍然具有挑战性，因为实际任务通常需要长时间的程序知识和特定应用的操作模式。本文提出MAGE（手册增强计算机使用代理执行与学习），该框架利用用户手册作为可扩展的程序知识来源，以改善推理和训练。在执行过程中，MAGE检索任务相关的手册内容，并使用规划器生成明确的程序指导。此外，MAGE通过环境交互来适应代理策略，以应对手册与实际GUI环境之间的差异。实验结果显示，在六个应用中，MAGE在任务成功率上优于强基线，突显了手册指导规划和策略适应的有效性。

🔬 方法详解

问题定义：本文旨在解决计算机使用代理在新软件环境中的适应性问题，现有方法在执行未见应用时常依赖人工标注数据，成本高且效率低。

核心思路：MAGE框架通过利用用户手册中的程序知识，生成可执行的任务计划，减少对人类示范的依赖，从而提升代理的执行能力和训练效率。

技术框架：MAGE的整体架构包括两个主要模块：执行模块和训练模块。在执行阶段，MAGE检索手册内容并生成程序指导；在训练阶段，MAGE将手册转化为可执行的任务计划，并通过环境回滚优化策略。

关键创新：MAGE的核心创新在于将用户手册作为程序知识源，结合环境交互进行策略适应，显著区别于传统依赖人类示范的学习方法。

关键设计：MAGE设计了高效的任务计划生成算法，并通过环境交互动态调整代理策略，以应对手册与实际环境之间的差异，确保更高的适应性和执行效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，MAGE在六个不同应用中的任务成功率显著提高，超过了强基线，具体提升幅度达到XX%（具体数据未知），验证了手册指导规划和策略适应的有效性。

🎯 应用场景

该研究的潜在应用领域包括软件自动化、智能助手和人机交互等。MAGE框架能够有效提升计算机使用代理在新软件环境中的适应能力，降低人工干预的需求，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Recent advances in multimodal foundation models have significantly improved the ability to operate real-world software through graphical user interfaces (GUIs) using visual observations and natural language instructions. However, maintaining strong performance on unseen applications remains challenging, as practical tasks often require long-horizon procedural knowledge and application-specific operation patterns. In addition, constructing executable tasks and collecting corresponding trajectories for training still heavily rely on human-annotated data, incurring substantial cost. In this paper, we propose MAGE (Manual-augmented computer use AGent Execution and learning), a framework that leverages user manuals as a scalable source of procedural knowledge to improve both inference and training. During execution, MAGE retrieves task-relevant manual content and uses a planner to generate explicit procedural guidance for CUAs. To further account for the discrepancies between manuals and actual GUI environments, such as version differences or user settings, MAGE also adapts the agent policy through environment interaction. During training, MAGE converts manuals into executable task-plan pairs and uses the plans to guide environment rollouts toward task-relevant states; the resulting trajectories are then used to optimize the policy without human-authored demonstrations. This unified design enables effective utilization of manuals for both task execution and training, reducing reliance on human-authored training data. Experimental results across six applications demonstrate improvements in task success rates over strong baselines, highlighting the effectiveness of manual-guided planning and policy adaptation in new software environments. We provide the code and reproduction scripts at https://github.com/ku-autoai/MAGE.