Reinforced UI Instruction Grounding: Towards a Generic UI Task Automation API

📄 arXiv: 2310.04716v1 📥 PDF

作者: Zhizheng Zhang, Wenxuan Xie, Xiaoyi Zhang, Yan Lu

分类: cs.CV

发布日期: 2023-10-07

💡 一句话要点

提出一种多模态模型以解决UI任务自动化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 UI任务自动化 强化学习 视觉编码 语言解码 人机交互 空间解码

📋 核心要点

  1. 现有的领域特定模型和API无法全面满足人机交互中多样化的自动化需求，存在覆盖不足的问题。
  2. 本文提出了一种多模态模型，通过视觉编码器和语言解码器将自然语言指令与UI截图结合，实现通用的UI任务自动化。
  3. 实验结果显示，所提出的模型在多个任务上显著超越了现有最先进的方法，展示了其作为UI任务自动化API的潜力。

📝 摘要（中文）

随着大型语言模型（LLMs）的普及，连接LLMs与特定领域模型或API的可能性大大增加，然而现有的领域特定模型和API在满足人机交互中多样化的自动化需求方面仍显不足。本文构建了一种多模态模型，将自然语言指令与给定的UI截图进行结合，作为通用的UI任务自动化执行器。该模型由视觉编码器和语言解码器组成，首先在文档理解任务上进行预训练，然后以可提示的方式学习从UI截图中解码空间信息。我们提出了一种基于强化学习的算法，联合视觉语义度量来监督序列中的标记，从而有效增强了空间解码能力。实验结果表明，所提出的模型在性能上显著优于现有最先进的方法，展现了作为通用UI任务自动化API的潜力。

🔬 方法详解

问题定义：本文旨在解决现有领域特定模型和API在处理人机交互中的多样化自动化需求时的不足，尤其是在UI任务自动化方面的挑战。

核心思路：提出了一种多模态模型，通过视觉编码器和语言解码器将自然语言指令与UI截图进行结合，采用无元数据的方式进行空间信息解码。

技术框架：整体架构包括视觉编码器用于处理UI截图，语言解码器用于生成空间坐标的序列，模型首先在文档理解任务上进行预训练，然后通过像素到序列的范式进行空间信息的解码。

关键创新：引入了一种基于强化学习的算法，联合视觉语义度量来监督序列中的标记，从而有效增强了空间解码能力，这是与现有方法的本质区别。

关键设计：模型设计中采用了像素到序列的范式，预测几何坐标的序列，损失函数结合了视觉语义度量，确保了模型在空间解码上的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的强化UI指令定位模型在多个基准测试中显著优于现有最先进的方法，性能提升幅度达到XX%，展示了其在通用UI任务自动化API中的潜力。

🎯 应用场景

该研究的潜在应用领域包括用户界面自动化、智能助手、软件测试和用户体验优化等。通过实现自然语言指令与UI元素的有效结合，能够大幅提升人机交互的效率和准确性，未来可能在各类软件和应用中得到广泛应用。

📄 摘要（原文）

Recent popularity of Large Language Models (LLMs) has opened countless possibilities in automating numerous AI tasks by connecting LLMs to various domain-specific models or APIs, where LLMs serve as dispatchers while domain-specific models or APIs are action executors. Despite the vast numbers of domain-specific models/APIs, they still struggle to comprehensively cover super diverse automation demands in the interaction between human and User Interfaces (UIs). In this work, we build a multimodal model to ground natural language instructions in given UI screenshots as a generic UI task automation executor. This metadata-free grounding model, consisting of a visual encoder and a language decoder, is first pretrained on well studied document understanding tasks and then learns to decode spatial information from UI screenshots in a promptable way. To facilitate the exploitation of image-to-text pretrained knowledge, we follow the pixel-to-sequence paradigm to predict geometric coordinates in a sequence of tokens using a language decoder. We further propose an innovative Reinforcement Learning (RL) based algorithm to supervise the tokens in such sequence jointly with visually semantic metrics, which effectively strengthens the spatial decoding capability of the pixel-to-sequence paradigm. Extensive experiments demonstrate our proposed reinforced UI instruction grounding model outperforms the state-of-the-art methods by a clear margin and shows the potential as a generic UI task automation API.