GUI Agents with Foundation Models: A Comprehensive Survey

📄 arXiv: 2411.04890v2 📥 PDF

作者: Shuai Wang, Weiwen Liu, Jingxuan Chen, Yuqi Zhou, Weinan Gan, Xingshan Zeng, Yuhan Che, Shuai Yu, Xinlong Hao, Kun Shao, Bin Wang, Chuhan Wu, Yasheng Wang, Ruiming Tang, Jianye Hao

分类: cs.AI, cs.HC

发布日期: 2024-11-07 (更新: 2025-02-13)

💡 一句话要点

综述：基于大模型的GUI智能体研究进展与未来趋势

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GUI智能体 大型语言模型 多模态学习 人机交互 自动化测试

📋 核心要点

  1. 现有GUI智能体在处理复杂交互和泛化能力方面存在不足，难以适应多样化的用户界面。
  2. 该综述总结了基于(M)LLM的GUI智能体研究，提出了一个统一框架，并对关键组件进行分类。
  3. 通过分析现有研究，该综述识别了GUI智能体面临的挑战，并为未来的研究方向提供了指导。

📝 摘要（中文）

近年来，以大型语言模型（LLMs）和多模态大型语言模型（MLLMs）为代表的基座模型取得了显著进展，推动了能够执行复杂任务的智能体的发展。通过利用(M)LLMs处理和理解图形用户界面（GUI）的能力，这些智能体可以自主执行用户指令，模拟人类的交互方式，例如点击和输入。本综述整合了近期关于基于(M)LLM的GUI智能体的研究，重点介绍了数据资源、框架和应用方面的关键创新。首先，回顾了具有代表性的数据集和基准测试，然后概述了一个通用的统一框架，该框架概括了先前研究的基本组成部分，并辅以详细的分类。此外，还探讨了相关的商业应用。从现有工作中汲取见解，识别了关键挑战，并提出了未来的研究方向。希望本综述能够激发基于(M)LLM的GUI智能体领域的进一步发展。

🔬 方法详解

问题定义：论文旨在解决如何利用大型语言模型和多模态大型语言模型构建更智能、更自主的GUI智能体的问题。现有方法在理解复杂GUI结构、处理长序列交互、以及泛化到未见过的GUI界面等方面存在诸多痛点。例如，传统方法依赖于手工设计的规则或有限的训练数据，难以适应快速变化的GUI环境。

核心思路：论文的核心思路是系统性地梳理和分析现有基于(M)LLM的GUI智能体研究，提炼出一个通用的框架，并在此基础上识别关键挑战和未来方向。通过对数据资源、模型架构、训练方法和应用场景进行分类和比较，为研究人员提供一个全面的视角，从而促进该领域的发展。

技术框架：论文提出了一个统一的框架，该框架通常包含以下几个主要模块：1) GUI状态表示：将GUI界面转换为模型可以理解的输入形式，例如文本描述、图像特征或结构化表示；2) 动作预测：基于GUI状态和用户指令，预测智能体应该执行的动作，例如点击、输入或滚动；3) 环境交互：执行预测的动作，并观察GUI界面的变化；4) 奖励/反馈机制：根据智能体的行为，提供奖励或惩罚，用于指导模型的学习。

关键创新：该综述的关键创新在于其系统性和全面性。它不仅回顾了现有的研究工作，还提出了一个统一的框架，并对关键组件进行了详细的分类。此外，该综述还识别了该领域面临的挑战，并为未来的研究方向提供了有价值的见解。与现有方法相比，该综述更注重对现有研究的整合和分析，而非提出新的算法或模型。

关键设计：该综述本身不涉及具体的模型设计或参数设置。然而，它对现有研究中使用的关键技术进行了总结，例如：1) GUI状态表示方法：包括文本描述、图像特征、结构化表示等；2) 动作预测模型：包括基于Transformer的模型、强化学习模型等；3) 奖励/反馈机制：包括基于规则的奖励、基于模型的奖励等。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该综述全面回顾了基于(M)LLM的GUI智能体研究，并提出了一个统一的框架，为该领域的研究人员提供了一个有价值的参考。通过对现有研究的分析，该综述识别了关键挑战和未来方向，为未来的研究工作提供了指导。虽然没有提供具体的性能数据，但其系统性和全面性使其成为该领域的重要贡献。

🎯 应用场景

该研究对开发更智能、更自主的GUI智能体具有重要意义，可应用于自动化测试、用户辅助、智能家居等领域。例如，GUI智能体可以自动执行重复性的任务，提高工作效率；可以帮助残疾人更方便地使用计算机；还可以用于构建智能家居系统，实现设备的自动化控制。未来，随着(M)LLM技术的不断发展，GUI智能体将在更多领域发挥重要作用。

📄 摘要（原文）

Recent advances in foundation models, particularly Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs), have facilitated the development of intelligent agents capable of performing complex tasks. By leveraging the ability of (M)LLMs to process and interpret Graphical User Interfaces (GUIs), these agents can autonomously execute user instructions, simulating human-like interactions such as clicking and typing. This survey consolidates recent research on (M)LLM-based GUI agents, highlighting key innovations in data resources, frameworks, and applications. We begin by reviewing representative datasets and benchmarks, followed by an overview of a generalized, unified framework that encapsulates the essential components of prior studies, supported by a detailed taxonomy. Additionally, we explore relevant commercial applications. Drawing insights from existing work, we identify key challenges and propose future research directions. We hope this survey will inspire further advancements in the field of (M)LLM-based GUI agents.