WinClick: GUI Grounding with Multimodal Large Language Models

📄 arXiv: 2503.04730v1 📥 PDF

作者: Zheng Hui, Yinheng Li, Dan zhao, Tianyi Chen, Colby Banbury, Kazuhito Koishida

分类: cs.CL, cs.HC

发布日期: 2025-01-27

🔗 代码/项目: GITHUB

💡 一句话要点

WinClick：利用多模态大语言模型实现GUI界面元素定位

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GUI自动化 界面元素定位 多模态学习 大语言模型 视觉智能体 Windows平台 预训练 基准测试

📋 核心要点

  1. 现有GUI智能体依赖结构化数据（如DOM），在通用桌面环境（如Windows）中受限。
  2. WinClick利用屏幕截图，通过GUI定位预训练和LLM对齐数据，提升定位准确性。
  3. WinClick结合WinSpot基准测试，实验结果显著优于现有方法，提供可扩展的GUI自动化方案。

📝 摘要（中文）

本文提出WinClick，一个在Windows平台上开发的视觉GUI智能体，用于解决GUI自动化任务中的关键挑战：GUI界面元素定位。现有方法依赖于DOM或HTML等结构化数据，但在通用桌面环境中难以获取。WinClick利用屏幕截图检测可操作区域，并通过GUI定位预训练和基于LLM的方法对齐GUI定位数据来增强定位能力。此外，本文还提出了首个全面的Windows GUI定位基准测试WinSpot。实验结果表明，结合GUI定位预训练的WinClick显著优于现有基线，为桌面环境中的GUI自动化提供了一种可扩展的解决方案。WinSpot已公开。

🔬 方法详解

问题定义：论文旨在解决通用Windows桌面环境下GUI自动化任务中的GUI界面元素定位问题。现有方法主要依赖于DOM或HTML等结构化数据，这些数据在许多Windows应用程序中无法访问，限制了GUI智能体的通用性和适用性。因此，如何在仅依赖屏幕截图的情况下，准确地定位GUI界面元素成为一个关键挑战。

核心思路：WinClick的核心思路是利用屏幕截图作为输入，通过视觉信息来定位可操作的GUI元素。为了提升定位的准确性，论文提出了GUI定位预训练方法，并利用大型语言模型（LLM）来对齐GUI定位数据，从而使模型能够更好地理解指令和屏幕元素之间的关系。

技术框架：WinClick的整体框架包含以下几个主要部分：1) 屏幕截图输入：接收Windows桌面环境的屏幕截图作为输入；2) 可操作区域检测：检测屏幕截图中的可操作GUI元素区域；3) GUI定位预训练：利用预训练方法提升模型对GUI元素的理解和定位能力；4) LLM数据对齐：使用LLM对GUI定位数据进行对齐，增强指令和视觉元素之间的关联；5) 动作执行：根据指令定位到的元素，执行相应的操作。

关键创新：论文的关键创新点在于：1) 提出了WinClick，一个完全基于视觉信息的GUI智能体，无需依赖结构化数据；2) 引入了GUI定位预训练方法，提升了模型对GUI元素的理解和定位能力；3) 利用LLM对GUI定位数据进行对齐，增强了指令和视觉元素之间的关联；4) 构建了WinSpot，首个全面的Windows GUI定位基准测试。

关键设计：论文中关于GUI定位预训练和LLM数据对齐的具体技术细节未知。但可以推测，GUI定位预训练可能采用了对比学习或掩码图像建模等方法，以增强模型对GUI元素的特征提取能力。LLM数据对齐可能使用了指令微调或上下文学习等技术，以使LLM能够更好地理解指令并将其与屏幕元素对应起来。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WinClick在WinSpot基准测试中表现出色，显著优于现有基线方法。具体性能数据和提升幅度在论文中未明确给出，但摘要强调了WinClick结合GUI定位预训练后性能的显著提升，表明该方法在Windows GUI定位任务中具有很强的竞争力。

🎯 应用场景

WinClick具有广泛的应用前景，可用于软件测试自动化、用户界面导航自动化、RPA（机器人流程自动化）等领域。通过自动执行重复性任务，WinClick可以显著提高工作效率，降低人工成本。未来，WinClick有望成为通用桌面自动化平台的核心组件，赋能各种智能应用。

📄 摘要（原文）

Graphical User Interface (GUI) tasks are vital for automating workflows such as software testing, user interface navigation. For users, the GUI is the most intuitive platform for interacting with a computer. Previous work identified a key challenge in developing visual GUI agents: GUI grounding - the ability to accurately locate screen elements based on instructions. However, most existing GUI agents rely on structured data formats like DOM or HTML files in training or inferencing, which are inaccessible across all applications, particular in a general desktop environments such as Windows OS. To address this, we introduce WinClick, a novel visual GUI agent developed in Windows platform. WinClick leverages screenshots to detect actionable regions. To overcome the challenge of GUI grounding, we enhance WinClick with GUI grounding pre-training and propose an LLM-based method for aligning GUI grounding data. Additionally, we introduce WinSpot, the first comprehensive benchmark for GUI grounding on Windows. Our experiments demonstrate that WinClick, combined with GUI grounding pre-training, significantly outperforms existing baselines, offering a scalable solution for GUI automation in desktop environments. WinSpot is publicly available at https://github.com/zackhuiiiii/WinSpot.