PointerBench: A Diagnostic Benchmark for Fine-Grained GUI Grounding

📄 arXiv: 2610.31274v1 📥 PDF

作者: Valentino Sacco, Saurabh Pandey, Alexander Florian Jercher, Maximilian Schilling

分类: cs.AI, cs.HC

发布日期: 2026-10-22

备注: Accepted at the 2nd Workshop on Agentic AI Benchmarks and Applications for Enterprise Tasks (AABA4ET), NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出PointerBench以解决细粒度GUI定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 GUI定位 细粒度识别 文本定位 专业应用评估

📋 核心要点

  1. 现有的GUI定位基准测试主要集中于传统控件，缺乏对细粒度定位的全面评估。
  2. 本文提出PointerBench基准，涵盖细小元素识别、字符级定位和混合GUI定位，提供更全面的评估框架。
  3. 实验结果显示，文本定位任务的挑战性最大，领先模型在此任务上的成功率显著低于整体表现，表明仍有改进空间。

📝 摘要（中文）

多模态大型语言模型在计算机使用任务中表现出色，但现有的基准测试主要集中于长时间任务的完成，而GUI定位基准则局限于传统控件和有限的专业界面。为此，本文提出了PointerBench，一个包含1500对截图-指令的诊断基准，探讨了三种互补能力：电子表格中的细小子元素识别和几何定位（PointerBench-Sheets）、长文本文件中的字符级定位（PointerBench-Text）以及跨100个专业应用的混合GUI定位（PointerBench-Pro）。我们对每个任务进行了精确的像素几何标注，并评估了通用多模态模型和39种专业GUI定位配置。实验结果显示，文本定位是最具挑战性的设置，尽管在PointerBench的整体成功率较高，但在PointerBench-Text上，领先模型的成功率仍有显著提升空间。

🔬 方法详解

问题定义：本文旨在解决现有GUI定位基准测试的不足，特别是在细粒度定位和多样化应用场景中的挑战。现有方法往往忽视了对复杂界面的精确定位能力，导致评估结果不够全面。

核心思路：PointerBench通过引入1500对截图-指令的组合，针对细小元素、字符级和混合GUI定位进行系统评估，旨在全面提升多模态模型在GUI任务中的表现。

技术框架：PointerBench的整体架构包括三个主要模块：PointerBench-Sheets（电子表格细小元素定位）、PointerBench-Text（长文本字符定位）和PointerBench-Pro（跨专业应用的混合定位）。每个模块均经过精确标注，确保评估的准确性。

关键创新：PointerBench的创新之处在于其细粒度的任务设计，尤其是对文本定位的深入探讨，使其成为评估多模态模型在复杂GUI环境中表现的重要工具。

关键设计：在设计中，任务的像素级几何标注是关键，确保了模型评估的准确性。此外，针对不同任务的损失函数和网络结构也进行了优化，以适应细粒度定位的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，文本定位任务是最具挑战性的，Claude Fable 5、GPT-5.6 Sol和UI-Venus-2-9B在PointerBench-Text上的成功率分别为69.6%、53.4%和25.8%。尽管这些模型在PointerBench的整体成功率较高，但在细粒度定位上仍有显著的提升空间，显示出该领域的研究潜力。

🎯 应用场景

PointerBench的研究成果可广泛应用于人机交互、自动化办公软件、智能助手等领域，帮助提升多模态模型在复杂GUI环境中的定位能力。随着技术的发展，PointerBench将为未来的用户界面设计和智能系统提供重要的评估标准和改进方向。

📄 摘要（原文）

Multimodal Large Language Models have shown promising performance in computer-use tasks, from planning user workflows to grounding natural-language actions to precise UI targets. Existing end-to-end benchmarks primarily emphasize long-horizon task completion, while GUI grounding benchmarks remain focused on conventional controls and a limited set of professional interfaces. We introduce POINTERBENCH, a diagnostic suite of 1,500 screenshot-instruction pairs probing three complementary capabilities: thin sub-element identification and geometric grounding in spreadsheets (POINTERBENCH-Sheets), character-level grounding in long-text documents (POINTERBENCH-Text), and mixed GUI grounding across 100 professional applications (POINTERBENCH-Pro). We carefully curate each task with pixel-exact target geometry and evaluate both general-purpose multimodal models and 39 specialist GUI grounding configurations. We find text grounding to be the most challenging setting, with Claude Fable 5, GPT-5.6 Sol, and the leading native specialist UI-Venus-2-9B achieving 69.6%, 53.4%, and 25.8% success on POINTERBENCH-Text despite respective 83.2%, 77.7%, and 54.5% average success across POINTERBENCH. These results reveal substantial headroom in fine-grained GUI grounding across frontier and specialist models. We publicly release the benchmark and evaluation code at https://github.com/warmwindOS/pointerbench.