InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection
作者: Yuhang Liu, Pengxiang Li, Zishu Wei, Congkai Xie, Xueyu Hu, Xinchen Xu, Shengyu Zhang, Xiaotian Han, Hongxia Yang, Fei Wu
分类: cs.AI, cs.CL, cs.HC
发布日期: 2025-01-08
备注: 14 pages, 7 figures, work in progress
🔗 代码/项目: GITHUB
💡 一句话要点
InfiGUIAgent：具备原生推理和反思能力的多模态通用GUI智能体
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: GUI智能体 多模态学习 原生推理 分层推理 期望-反思推理 自动化任务 监督微调
📋 核心要点
- 现有的GUI智能体在多步骤推理方面面临挑战，并且依赖于文本标注，限制了其有效性。
- InfiGUIAgent通过两阶段微调，首先提升GUI理解能力，然后注入分层和期望-反思推理能力。
- 实验结果表明，InfiGUIAgent在多个GUI基准测试中表现出色，验证了原生推理能力的重要性。
📝 摘要（中文）
本文提出InfiGUIAgent，一个基于多模态大型语言模型（MLLM）的GUI智能体，通过两阶段监督微调流程进行训练。第一阶段增强GUI理解和定位等基础技能，第二阶段利用合成数据集成分层推理和期望-反思推理技能，使智能体具备原生推理能力。InfiGUIAgent在多个GUI基准测试中取得了具有竞争力的性能，突出了原生推理技能在增强GUI交互以实现自动化任务方面的作用。相关资源已在GitHub上公开。
🔬 方法详解
问题定义：现有GUI智能体在处理复杂任务时，需要进行多步骤推理，但现有方法往往依赖于外部知识或复杂的文本标注，这限制了其泛化能力和效率。此外，对于任务的预期结果和实际执行结果之间的差异，现有智能体缺乏有效的反思和纠错机制。
核心思路：InfiGUIAgent的核心思路是通过两阶段的监督微调，赋予智能体原生推理能力。第一阶段侧重于GUI元素的理解和定位，第二阶段则通过合成数据，训练智能体进行分层推理和期望-反思推理，使其能够自主地进行任务分解、规划和执行，并根据执行结果进行反思和调整。
技术框架：InfiGUIAgent的整体框架包含两个主要阶段：GUI基础技能增强阶段和原生推理能力集成阶段。在GUI基础技能增强阶段，使用包含GUI状态和对应操作的数据进行微调，提升智能体对GUI元素的感知和操作能力。在原生推理能力集成阶段，利用合成数据，训练智能体进行分层推理（将复杂任务分解为子任务）和期望-反思推理（对比预期结果和实际结果，进行反思和调整）。
关键创新：InfiGUIAgent的关键创新在于其原生推理能力的集成。与以往依赖外部知识或复杂标注的方法不同，InfiGUIAgent通过合成数据，直接训练智能体进行推理和反思，使其能够更自主、更灵活地完成GUI自动化任务。这种方法避免了对外部资源的依赖，提高了智能体的泛化能力和鲁棒性。
关键设计：在第二阶段的训练中，使用了精心设计的合成数据，包括任务分解、操作序列和期望结果。损失函数方面，可能采用了交叉熵损失或类似的损失函数，用于优化智能体的操作预测。具体的网络结构细节未知，但推测使用了Transformer或类似的架构，以支持长序列的推理和反思。
🖼️ 关键图片
📊 实验亮点
InfiGUIAgent在多个GUI基准测试中取得了显著的性能提升，证明了原生推理能力的有效性。具体的性能数据和对比基线在论文中给出，但摘要中未明确提及具体数值。该智能体在复杂任务上的表现尤为突出，表明其分层推理和期望-反思推理能力能够有效应对复杂场景。
🎯 应用场景
InfiGUIAgent可应用于自动化测试、RPA（机器人流程自动化）、辅助用户操作等领域。例如，它可以自动执行软件测试用例，减少人工测试成本；可以自动化处理重复性的办公任务，提高工作效率；还可以为残障人士提供辅助操作，提升其使用计算机的便利性。未来，该技术有望进一步发展，实现更智能、更通用的GUI自动化。
📄 摘要（原文）
Graphical User Interface (GUI) Agents, powered by multimodal large language models (MLLMs), have shown great potential for task automation on computing devices such as computers and mobile phones. However, existing agents face challenges in multi-step reasoning and reliance on textual annotations, limiting their effectiveness. We introduce \textit{InfiGUIAgent}, an MLLM-based GUI Agent trained with a two-stage supervised fine-tuning pipeline. Stage 1 enhances fundamental skills such as GUI understanding and grounding, while Stage 2 integrates hierarchical reasoning and expectation-reflection reasoning skills using synthesized data to enable native reasoning abilities of the agents. \textit{InfiGUIAgent} achieves competitive performance on several GUI benchmarks, highlighting the impact of native reasoning skills in enhancing GUI interaction for automation tasks. Resources are available at \url{https://github.com/Reallm-Labs/InfiGUIAgent}.