ConClick: Element-Wise Contrastive Learning Improves GUI Grounding

📄 arXiv: 2610.13268v1 📥 PDF

作者: Ruotian Zhang, Yuhui Zhang, Junzhe Huang, Yu Xin, Hehe Fan, Xiaoxiao Sun

分类: cs.CV

发布日期: 2026-10-09

备注: 20 pages, 10 figures, including references and appendices. Code and data: https://github.com/zhangruotian/ConClick

🔗 代码/项目: GITHUB

💡 一句话要点

提出ConClick框架以提升GUI元素定位精度

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: GUI定位 对比学习 干扰元素 模型训练 用户界面 智能助手 准确性提升

📋 核心要点

  1. 现有的GUI定位模型在准确性上存在不足，常常错误点击非目标元素，导致任务失败。
  2. 本文提出了ConClick框架，通过对比学习帮助模型区分目标元素与干扰元素，提升定位精度。
  3. 实验结果显示，ConClick在多个数据集上显著提高了定位准确率，且引入的ReClick策略进一步优化了性能。

📝 摘要（中文）

GUI定位是根据用户指令定位界面元素的基本能力。然而，现有的定位模型仍存在较高的错误率，导致下游任务失败。通过对10个模型在五个数据集上的系统评估，发现大多数错误点击集中在非目标界面元素上。为此，本文提出了ConClick，一个对比学习框架，旨在帮助模型区分目标元素与干扰元素。我们构建了包含4292个挑战性目标-干扰对的ConClick-Data数据集，并使用互补的列表排名和成对边际目标进行训练。实验表明，ConClick显著提高了多个基准的定位准确率，并引入了ReClick策略，进一步提升了平均准确率。

🔬 方法详解

问题定义：本文旨在解决现有GUI定位模型在准确性上的不足，尤其是错误点击非目标元素的问题。现有模型在处理干扰元素时表现不佳，导致频繁选择相同的干扰项。

核心思路：论文提出的ConClick框架通过对比学习的方式，训练模型区分目标元素与干扰元素，从而减少错误点击。该设计基于对现有错误模式的深入分析，强调了对干扰元素的辨识能力。

技术框架：ConClick的整体架构包括数据集构建、模型训练和推理策略。首先，构建了包含目标-干扰对的数据集；其次，采用互补的列表排名和成对边际目标进行模型训练；最后，引入ReClick策略在推理阶段优化预测结果。

关键创新：ConClick的主要创新在于通过对比学习框架有效提升了模型的目标元素识别能力，显著减少了错误点击的发生，与传统方法相比，具有更高的准确性和鲁棒性。

关键设计：在训练过程中，使用了列表排名和成对边际损失函数，确保模型能够在多样化的干扰元素中准确识别目标元素。数据集的构建也考虑了多样性和挑战性，以增强模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ConClick显著提高了Qwen3-VL-8B模型在ScreenSpot-Pro、MMBench-GUI L2和OSWorld-G数据集上的准确率，分别从54.71%提升至66.03%、从83.72%提升至86.28%和从63.33%提升至70.20%。此外，ReClick策略在推理阶段进一步提升了平均准确率2.96个百分点，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化测试工具和用户界面设计等。通过提升GUI元素定位的准确性，ConClick能够帮助开发更可靠的GUI代理，减少用户操作中的错误，提高用户体验。未来，该方法还可能扩展到其他领域，如增强现实和虚拟现实中的界面交互。

📄 摘要（原文）

GUI grounding, the task of locating the interface element specified by a user instruction, is a fundamental capability of GUI agents. However, existing grounding models remain error-prone, often causing downstream task failures. We systematically evaluate 10 grounding models across five datasets and identify a major error pattern: most incorrect clicks hit non-target interface elements rather than the background, with different models repeatedly selecting the same distractors. Motivated by these findings, we propose ConClick, a contrastive learning framework that teaches models to distinguish the target element from plausible distractors. We construct ConClick-Data, a dataset containing 4,292 challenging target-distractor pairs, and train the model using complementary listwise ranking and pairwise margin objectives. ConClick improves the grounding accuracy of Qwen3-VL-8B from 54.71% to 66.03% on ScreenSpot-Pro, from 83.72% to 86.28% on MMBench-GUI L2, and from 63.33% to 70.20% on OSWorld-G, outperforming prior methods built on the same or similarly sized backbones. We further introduce ReClick, an inference-time strategy that revisits promising regions and compares predictions across competing candidates, yielding an additional 2.96 percentage-point improvement in average accuracy across the three benchmarks. Together, our analysis, dataset, and methods provide both empirical insights and practical tools for building more reliable GUI agents. Data and code are available at https://github.com/zhangruotian/ConClick.