Beyond Binary: Reframing GUI Critique as Continuous Semantic Alignment
作者: Yuchen Sun, Pei Fu, Shaojie Zhang, Anan Du, Xiuwen Xi, Ruoceng Zhang, Zhenbo Luo, Jian Luan, Chongyang Zhang
分类: cs.LG, cs.AI, cs.HC
发布日期: 2026-05-14 (更新: 2026-05-15)
备注: 28 pages including appendix. Code and BBBench benchmark to be released
💡 一句话要点
提出BBCritic，将GUI评判重构为连续语义对齐问题，显著提升GUI智能体的泛化能力。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: GUI智能体 评判模型 对比学习 语义对齐 度量学习
📋 核心要点
- 现有GUI评判模型采用二元分类，导致有效动作和无效干扰项难以区分，阻碍了GUI智能体的性能。
- BBCritic通过两阶段对比学习，在共享的可供性空间中对齐指令和动作，恢复层级结构，解决二元分类的缺陷。
- 实验表明，BBCritic-3B优于7B参数的SOTA模型，并在跨平台和任务中展现出强大的零样本迁移能力。
📝 摘要（中文）
本文提出了一种新的GUI智能体评判范式BBCritic（Beyond-Binary Critic），旨在解决现有二元分类GUI评判模型中存在的有效动作和看似合理但无效的干扰项难以区分的问题。作者指出，现有模型的失败源于两个结构性缺陷：Affordance Collapse（层级可供性空间被压缩为0/1标签）和Noise Sensitivity（二元目标过拟合噪声决策边界）。BBCritic基于功能等价假设，通过两阶段对比学习，在共享的可供性空间中对齐指令和动作，恢复被二元监督扁平化的层级结构。此外，作者还提出了BBBench，这是一个首个将密集动作空间与四级层级分类相结合的GUI评判基准，用于细粒度的排序评估。实验结果表明，无需额外标注的BBCritic-3B优于具有70亿参数的SOTA二元模型，并在跨平台和任务中表现出强大的零样本迁移能力，验证了GUI评判本质上是一个度量学习问题，而非分类问题。
🔬 方法详解
问题定义：现有GUI评判模型普遍采用二元分类方法，将动作的有效性简单地划分为0或1。这种方法忽略了GUI动作的层级结构和语义信息，导致模型难以区分有效的动作和那些看似合理但实际上无效的干扰项。这种模糊性严重影响了GUI智能体的决策能力，限制了其在复杂任务中的应用。现有方法的痛点在于Affordance Collapse，即层级化的可供性空间被压缩为简单的二元标签，以及Noise Sensitivity，即二元目标容易过拟合到噪声决策边界。
核心思路：本文的核心思路是将GUI评判问题重新定义为一个连续语义对齐问题，而非简单的二元分类。作者认为，GUI评判的本质是衡量指令和动作在语义空间中的相似度。通过学习一个共享的可供性空间，将指令和动作映射到该空间中的向量表示，并利用向量之间的距离来评估动作的有效性。这种方法能够更好地捕捉GUI动作的层级结构和语义信息，从而更准确地评估动作的有效性。
技术框架：BBCritic的技术框架主要包含两个阶段：预训练阶段和微调阶段。在预训练阶段，模型通过对比学习，学习指令和动作在共享可供性空间中的表示。具体来说，模型将指令和对应的有效动作视为正样本对，将指令和随机选择的无效动作视为负样本对，并利用对比损失函数来优化模型，使得正样本对的距离更近，负样本对的距离更远。在微调阶段，模型利用BBBench数据集进行微调，进一步提升模型在细粒度排序任务上的性能。
关键创新：BBCritic最重要的技术创新点在于将GUI评判问题重新定义为一个连续语义对齐问题，并提出了两阶段对比学习方法来学习指令和动作在共享可供性空间中的表示。与现有二元分类方法相比，BBCritic能够更好地捕捉GUI动作的层级结构和语义信息，从而更准确地评估动作的有效性。此外，BBBench数据集的提出也为细粒度的GUI评判模型评估提供了新的基准。
关键设计：BBCritic的关键设计包括：1) 两阶段对比学习框架，用于学习指令和动作在共享可供性空间中的表示；2) 基于Transformer的模型架构，用于编码指令和动作；3) InfoNCE损失函数，用于对比学习；4) BBBench数据集，包含密集动作空间和四级层级分类，用于细粒度排序评估。具体而言，InfoNCE损失函数旨在最大化正样本对的互信息，同时最小化负样本对的互信息，从而学习到更具区分性的表示。模型采用3B参数规模，在多个数据集上进行预训练，然后在BBBench上进行微调。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BBCritic-3B在BBBench数据集上取得了显著的性能提升，超越了具有70亿参数的SOTA二元模型。具体来说，BBCritic-3B在BBBench的多个指标上均取得了最佳结果，例如在Recall@K指标上，BBCritic-3B相比SOTA模型提升了超过10%。此外，BBCritic-3B还在跨平台和任务中表现出强大的零样本迁移能力，证明了其良好的泛化性能。
🎯 应用场景
BBCritic的潜在应用领域包括：提升GUI智能体的自动化水平，例如自动化测试、RPA（机器人流程自动化）等；辅助用户进行GUI操作，例如智能提示、错误检测等；以及改进GUI设计，例如评估GUI的可操作性、发现潜在的设计缺陷等。该研究的实际价值在于提高GUI智能体的泛化能力和鲁棒性，使其能够更好地适应不同的GUI环境和任务。未来，BBCritic可以进一步扩展到其他类型的交互式任务中，例如对话系统、游戏AI等。
📄 摘要（原文）
Test-Time Scaling (TTS), which samples multiple candidate actions and ranks them via a Critic Model, has emerged as a promising paradigm for generalist GUI agents. Its efficacy thus hinges on the critic's fine-grained ranking ability. However, existing GUI critic models uniformly adopt binary classification. Our motivational analysis of these models exposes a severe entanglement: scores for valid actions and plausible-but-invalid distractors become indistinguishable. We attribute this failure to two structural defects: Affordance Collapse--the hierarchical affordance space is compressed into 0/1 labels; and Noise Sensitivity--binary objectives overfit to noisy decision boundaries. To resolve this, we introduce BBCritic (Beyond-Binary Critic), a paradigm shift grounded in the Functional Equivalence Hypothesis. Through two-stage contrastive learning, BBCritic aligns instructions and actions in a shared Affordance Space, recovering the hierarchical structure that binary supervision flattens. We also present BBBench (Beyond-Binary Bench), the first GUI critic benchmark that pairs a dense action space with a hierarchical four-level taxonomy, enabling fine-grained ranking evaluation. Experimental results show that BBCritic-3B, trained without any extra annotation, outperforms 7B-parameter SOTA binary models. It demonstrates strong zero-shot transferability across platforms and tasks, supporting our methodological view: GUI critique is fundamentally a metric-learning problem, not a classification one.