UI2App: Benchmarking Visual Interaction Inference in Executable Web Application Generation
作者: Grace Man Chen, Litao Guo, Yifan Wu, Yiyu Chen, Yenchi Tseng, Sicheng Liu, Yuyu Luo, Ying-Cong Chen
分类: cs.SE, cs.AI, cs.CV
发布日期: 2026-07-07
💡 一句话要点
提出UI2App以解决可执行Web应用生成中的交互推断问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交互推断 Web应用生成 视觉保真度 大型语言模型 多路径应用 自动化开发 用户界面设计
📋 核心要点
- 现有方法在生成Web应用时，交互推断能力不足，尤其在复杂交互场景中表现不佳。
- UI2App基准通过仅依赖UI截图，评估应用的交互推断能力，填补了现有评估的空白。
- 实验结果显示，视觉保真度与交互实现之间存在显著能力不匹配，部分模型在复杂交互上得分为零。
📝 摘要（中文）
大型语言模型（LLMs）在网页生成方面展现出越来越强的能力。然而，现有的文本驱动方法依赖复杂的提示，给用户带来了较大负担，并且在页面布局和跨页面视觉一致性方面表达能力有限。基于图像的范式更贴近真实开发工作流程，但当前基准主要关注视觉保真度，缺乏对生成工件交互能力的系统评估。为此，我们提出了UI2App，这是第一个针对交互推断的基准，旨在仅通过截图恢复应用行为，而无需任何文本或行为指导。UI2App包含327个截图，分为45组状态一致的可运行多路径Web应用。我们设计了一个端到端的管道，从可执行性、导航可达性、视觉保真度和交互推断四个维度评估每个工件。
🔬 方法详解
问题定义：本论文旨在解决从静态截图中推断Web应用交互行为的能力不足。现有方法过于依赖文本提示，导致用户负担加重，且在交互推断方面表现不佳。
核心思路：我们提出UI2App基准，专注于通过UI截图恢复应用行为，避免了对文本或行为指导的依赖，从而更贴近真实开发流程。
技术框架：UI2App包含327个截图，分为45组状态一致的可运行Web应用。评估管道从可执行性、导航可达性、视觉保真度和交互推断四个维度进行评估。
关键创新：UI2App是首个专注于交互推断的基准，采用交互指标（IIS）评估推断的交互，通过功能正确性和状态管理复杂性来衡量，而不是单一参考匹配。
关键设计：在评估过程中，我们设计了多维度的评估标准，特别关注高复杂度交互的推断能力，确保能够全面反映模型在实际应用中的表现。实验中，视觉保真度领先的模型在交互推断上得分仅为7.5，显示出显著的能力差距。
🖼️ 关键图片
📊 实验亮点
实验结果表明，视觉保真度领先的模型在交互推断指标（IIS）上仅得分7.5，远低于交互推断领先模型的得分，显示出5.2倍的差距。高复杂度交互（如跨页面状态）仍然是普遍瓶颈，评估的模型中有一半在此维度得分为零。
🎯 应用场景
该研究的潜在应用领域包括Web应用开发、自动化测试和用户界面设计等。通过提高模型在交互推断方面的能力，能够显著提升开发效率，减少人工干预，推动智能化开发工具的进步，未来可能对软件工程领域产生深远影响。
📄 摘要（原文）
Large language models (LLMs) have demonstrated growing competence in web page generation. However, existing text-driven approaches rely on complex prompts that impose substantial demands on users and offer limited expressivity for page layout and cross-page visual coherence. Image-driven paradigms, which take UI screenshots as input, align more closely with real development workflows. However, current benchmarks focus primarily on visual fidelity and lack a systematic evaluation of the interaction capabilities in generated artifacts. To address this gap, we introduce UI2App, the first benchmark targeting interaction inference, the ability to recover application behavior from screenshots alone, without any textual or behavioral guidance. UI2App comprises 327 screenshots grouped into 45 state-coherent screenshot sets for runnable multi-route web applications. We design an end-to-end pipeline that evaluates each artifact along four dimensions: executability, navigation reachability, visual fidelity, and interaction inference. The interaction metric (IIS) assesses inferred interactions by functional correctness and state-management complexity, crediting any valid implementation rather than matching a single reference. Experiments on six frontier vision-language models reveal a marked capability mismatch between visual reconstruction and interaction realization: the visual-fidelity leader scores only 7.5 on IIS, ranking fourth and trailing the IIS leader by 5.2x. High-complexity interactions such as cross-page state remain a pervasive bottleneck, with half of the evaluated models scoring exactly zero on this dimension. Overall, the results indicate that inferring complete interaction behavior from static screenshots remains a key challenge for models.