RankGround: Efficient High-Resolution GUI Grounding via Lightweight Reranker-Guided Crop Selection
作者: Liyang Fan, Xinping Bi, Yitai Li, Shuaimin Li, Hui Li, Min Yang
分类: cs.CV, cs.CL, cs.HC
发布日期: 2026-09-16
备注: 10 pages, 6 figures. Accepted to ACM Multimedia 2026 (MM '26)
💡 一句话要点
提出RankGround以解决高效高分辨率GUI定位问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图形用户界面 多模态智能体 视觉-语言模型 高效定位 重排序技术
📋 核心要点
- 现有方法在GUI定位中面临准确性与效率之间的权衡，导致小型或相似UI元素的捕捉困难。
- RankGround通过引入轻量级的GroundRanker，采用两阶段框架，仅需一次VLM调用即可实现高效定位。
- 实验结果显示，RankGround在所有基线方法中表现最佳，推理速度提升1.4倍，定位准确率提升5.5%。
📝 摘要（中文）
图形用户界面（GUI）定位是多模态智能体的一项基础感知任务，使其能够理解自然语言指令并与数字界面互动。现有方法在准确性和效率之间存在根本的权衡：直接的全图推理往往无法捕捉到小型或视觉相似的UI元素，而多裁剪策略虽然提高了定位精度，却增加了每个查询的高昂计算成本。为了解决这一挑战，本文提出了RankGround，一个两阶段框架，通过单次视觉-语言模型（VLM）调用实现准确的GUI定位。核心是GroundRanker，一个轻量级的多模态重排序器，从密集候选集中识别最有前景的裁剪。实验结果表明，RankGround在降低计算成本的同时，始终优于强基线，推理速度提高1.4倍，定位准确率平均提升5.5%。
🔬 方法详解
问题定义：本文旨在解决现有GUI定位方法在准确性与效率之间的权衡问题，尤其是在处理小型或视觉相似UI元素时的不足。
核心思路：RankGround的核心思路是通过引入GroundRanker，采用两阶段的重排序策略，从而在仅一次VLM调用的情况下实现高效且准确的GUI定位。
技术框架：RankGround的整体架构分为两个主要阶段：第一阶段使用点对点目标学习粗略的包含关系，第二阶段通过列表目标进一步细化视觉相似裁剪之间的语义和空间差异。
关键创新：最重要的创新点在于GroundRanker的设计，它通过构建排名监督数据并采用严格的包含标准和边界感知的正向增强，显著提升了定位精度和空间覆盖率。
关键设计：在训练过程中，GroundRanker使用了两阶段的课程学习策略，首先通过点对点目标学习粗略的包含关系，然后通过列表目标优化视觉相似裁剪的细微差异，确保模型的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RankGround在所有基线方法中表现优异，推理速度提高了1.4倍，定位准确率平均提升5.5%，在效率和精度上建立了新的最优状态。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化测试工具和用户界面设计等。通过提高GUI定位的效率和准确性，RankGround能够显著提升多模态智能体在复杂环境中的交互能力，未来可能推动更智能的用户体验和人机交互技术的发展。
📄 摘要（原文）
Graphical User Interface (GUI) grounding is a fundamental perception task for multimodal agents, enabling them to interpret natural language instructions and interact with digital interfaces. Existing methods face a fundamental trade-off between accuracy and efficiency: direct full-image inference often fails to capture small or visually similar UI elements, while multi-crop strategies improve localization at the cost of multiple expensive Vision-Language Model (VLM) calls per query. To address this challenge, we propose RankGround, a two-stage framework that achieves accurate GUI grounding with a single VLM call per query. Central to our approach is GroundRanker, a lightweight multimodal reranker that identifies the most promising crop from a dense candidate set. Because no off-the-shelf ranking dataset is available, we construct ranking supervision data from existing grounding datasets. A strict containment criterion and boundary-aware positive augmentation improve alignment and spatial coverage in cluttered layouts. GroundRanker is then trained with a two-stage curriculum: a pointwise objective first learns coarse containment, and a listwise objective refines subtle semantic and spatial distinctions among visually similar crops. Experimental results show that RankGround consistently outperforms strong baselines while reducing computational cost. It achieves 1.4 times faster inference and improves localization accuracy by 5.5% on average over the second-best method across all backbones and screen scales, establishing a new state of the art in both efficiency and precision for GUI grounding.