A Survey on (M)LLM-Based GUI Agents
作者: Fei Tang, Haolei Xu, Hang Zhang, Siqi Chen, Xingyu Wu, Yongliang Shen, Wenqi Zhang, Guiyang Hou, Zeqi Tan, Yuchen Yan, Kaitao Song, Jian Shao, Weiming Lu, Jun Xiao, Yueting Zhuang
分类: cs.HC, cs.AI, cs.CL, cs.CV
发布日期: 2025-03-27 (更新: 2025-06-04)
💡 一句话要点
综述：基于(M)LLM的GUI智能体，提升人机交互自动化水平
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: GUI智能体 人机交互 大型语言模型 自动化 多模态学习
📋 核心要点
- 现有GUI自动化方法依赖于规则脚本，难以处理复杂和动态的界面，面临理解能力不足的挑战。
- 论文核心在于分析基于LLM的GUI智能体，通过感知、探索、规划和交互四个组件实现更智能的界面操作。
- 综述深入分析了现有评估框架的局限性，并为GUI智能体的标准化评估提出了未来研究方向。
📝 摘要（中文）
本综述全面考察了基于大型语言模型（LLM）的图形用户界面（GUI）智能体这一快速发展领域。GUI智能体代表了人机交互的变革性范式，从基于规则的自动化脚本演变为能够理解和执行复杂界面操作的先进AI驱动系统。本文系统地分析了LLM驱动的GUI智能体的架构基础、技术组件和评估方法。我们识别并分析了构成现代GUI智能体的四个基本组件：（1）集成文本解析和多模态理解的感知系统，用于全面理解界面；（2）通过内部建模、历史经验和外部信息检索构建和维护知识库的探索机制；（3）利用高级推理方法进行任务分解和执行的规划框架；（4）通过强大的安全控制管理动作生成的交互系统。通过对这些组件的严格分析，揭示了大型语言模型和多模态学习的最新进展如何彻底改变桌面、移动和Web平台上的GUI自动化。我们批判性地考察了当前的评估框架，强调了现有基准测试中的方法学局限性，并提出了标准化方向。本综述还指出了关键的技术挑战，包括准确的元素定位、有效的知识检索、长程规划和安全意识执行控制，同时概述了增强GUI智能体能力的有希望的研究方向。我们的系统回顾为研究人员和从业人员提供了对该领域当前状态的透彻理解，并为智能界面自动化的未来发展提供了见解。
🔬 方法详解
问题定义：当前GUI自动化方法主要依赖于预定义的规则和脚本，缺乏对用户界面复杂性和动态性的适应能力。这些方法在处理复杂任务、理解用户意图以及从历史经验中学习方面存在局限性，导致自动化效率低下和用户体验不佳。现有方法难以准确地定位界面元素、有效地检索相关知识、进行长程规划以及保证执行过程的安全性。
核心思路：本综述的核心思路是将GUI智能体分解为四个关键组件：感知、探索、规划和交互。通过分析每个组件中使用的技术和方法，揭示了大型语言模型和多模态学习如何提升GUI智能体的性能。这种分解方法有助于系统地理解GUI智能体的架构和功能，并为未来的研究提供指导。
技术框架：GUI智能体的整体架构包含以下四个主要模块： 1. 感知系统：负责理解用户界面的内容和结构，通常结合文本解析和多模态信息（如图像）处理。 2. 探索机制：用于构建和维护知识库，通过内部建模、历史经验和外部信息检索来增强智能体的理解能力。 3. 规划框架：利用高级推理方法将复杂任务分解为可执行的步骤，并制定执行计划。 4. 交互系统：负责生成和执行操作，同时确保执行过程的安全性。
关键创新：本综述的关键创新在于对GUI智能体的系统性分析和组件化分解。通过这种方式，论文能够清晰地呈现该领域的研究进展，并识别出关键的技术挑战和未来的研究方向。此外，论文还批判性地评估了现有的评估框架，并提出了改进建议。
关键设计：论文没有涉及具体算法或模型的细节设计，而侧重于对现有方法的总结和分析。关键设计体现在对GUI智能体架构的分解和对各个组件的深入剖析，这为未来的研究提供了框架性的指导。
🖼️ 关键图片
📊 实验亮点
该综述系统性地分析了基于LLM的GUI智能体的四个关键组件，并指出了现有评估框架的局限性。论文强调了准确元素定位、有效知识检索、长程规划和安全执行控制等关键技术挑战，为未来的研究方向提供了清晰的指导。虽然没有提供具体的实验数据，但其对现有方法的总结和分析具有重要的参考价值。
🎯 应用场景
该研究成果可应用于各种人机交互场景，例如自动化软件测试、智能助手、无障碍辅助工具等。通过提升GUI智能体的自动化水平，可以显著提高工作效率，改善用户体验，并为残障人士提供更好的辅助功能。未来，GUI智能体有望在智能家居、智能办公等领域发挥更大的作用。
📄 摘要（原文）
Graphical User Interface (GUI) Agents have emerged as a transformative paradigm in human-computer interaction, evolving from rule-based automation scripts to sophisticated AI-driven systems capable of understanding and executing complex interface operations. This survey provides a comprehensive examination of the rapidly advancing field of LLM-based GUI Agents, systematically analyzing their architectural foundations, technical components, and evaluation methodologies. We identify and analyze four fundamental components that constitute modern GUI Agents: (1) perception systems that integrate text-based parsing with multimodal understanding for comprehensive interface comprehension; (2) exploration mechanisms that construct and maintain knowledge bases through internal modeling, historical experience, and external information retrieval; (3) planning frameworks that leverage advanced reasoning methodologies for task decomposition and execution; and (4) interaction systems that manage action generation with robust safety controls. Through rigorous analysis of these components, we reveal how recent advances in large language models and multimodal learning have revolutionized GUI automation across desktop, mobile, and web platforms. We critically examine current evaluation frameworks, highlighting methodological limitations in existing benchmarks while proposing directions for standardization. This survey also identifies key technical challenges, including accurate element localization, effective knowledge retrieval, long-horizon planning, and safety-aware execution control, while outlining promising research directions for enhancing GUI Agents' capabilities. Our systematic review provides researchers and practitioners with a thorough understanding of the field's current state and offers insights into future developments in intelligent interface automation.