PeriGuru: A Peripheral Robotic Mobile App Operation Assistant based on GUI Image Understanding and Prompting with LLM

📄 arXiv: 2409.09354v1 📥 PDF

作者: Kelin Fu, Yang Tian, Kaigui Bian

分类: cs.RO, cs.AI

发布日期: 2024-09-14

🔗 代码/项目: GITHUB

💡 一句话要点

PeriGuru：基于GUI图像理解和LLM提示的外设机器人移动应用操作助手

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人 移动应用 GUI图像理解 大型语言模型 辅助技术 计算机视觉

📋 核心要点

  1. 老年人和残疾人在使用智能手机时面临挑战，现有移动应用代理存在隐私、权限和跨平台兼容性问题。
  2. PeriGuru通过计算机视觉分析GUI截图，利用LLM进行动作决策，并由机械臂执行操作，实现辅助功能。
  3. 实验结果表明，PeriGuru在测试任务集上的成功率达到81.94%，显著优于没有GUI图像理解和LLM提示的方法。

📝 摘要（中文）

智能手机已成为现代生活的重要组成部分，极大地促进了我们的日常学习、交流和娱乐。然而，包括老年人和残疾人在内的一些群体在使用智能手机时面临挑战，因此需要移动应用操作助手，即移动应用代理。考虑到隐私、权限和跨平台兼容性问题，我们致力于设计和开发PeriGuru，这是一种基于GUI图像理解和大型语言模型（LLM）提示的外设机器人移动应用操作助手。PeriGuru利用一系列计算机视觉技术来分析GUI截图图像，并采用LLM来指导动作决策，然后由机械臂执行。PeriGuru在测试任务集上的成功率达到81.94%，比没有PeriGuru的GUI图像解释和提示设计的方法高出两倍以上。我们的代码可在https://github.com/Z2sJ4t/PeriGuru上找到。

🔬 方法详解

问题定义：论文旨在解决老年人和残疾人等群体在使用智能手机应用时遇到的操作困难问题。现有移动应用代理方案通常面临隐私泄露、权限管理复杂以及跨平台兼容性差等痛点，限制了其广泛应用。

核心思路：论文的核心思路是利用外设机器人手臂，结合计算机视觉和大型语言模型（LLM），构建一个辅助操作智能手机应用的系统。通过图像理解GUI界面元素，并借助LLM的推理能力，生成操作指令，最后由机器人手臂执行，从而实现安全、通用且易于使用的辅助操作方案。

技术框架：PeriGuru系统的整体架构包含以下几个主要模块：1) GUI图像采集模块，负责截取智能手机屏幕图像；2) GUI图像理解模块，利用计算机视觉技术识别图像中的界面元素（如按钮、文本框等）；3) LLM提示模块，根据识别出的界面元素，生成相应的操作指令；4) 机器人手臂控制模块，将操作指令转化为机器人手臂的动作，完成应用操作。

关键创新：该论文的关键创新在于将计算机视觉和LLM相结合，用于理解GUI界面并生成操作指令。与传统的基于规则或模板的方法相比，该方法具有更强的泛化能力和适应性，能够处理各种不同的应用界面和操作场景。此外，采用外设机器人手臂的设计，避免了直接访问智能手机内部数据，从而提高了隐私安全性。

关键设计：GUI图像理解模块可能采用了目标检测或语义分割等技术，用于识别界面元素。LLM提示模块的设计需要仔细考虑提示词的构建方式，以确保LLM能够准确理解用户意图并生成合适的操作指令。机器人手臂控制模块需要精确控制手臂的运动轨迹，以避免误触或损坏屏幕。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PeriGuru在测试任务集上取得了81.94%的成功率，显著优于没有GUI图像理解和LLM提示的方法，性能提升超过一倍。这一结果表明，结合计算机视觉和LLM能够有效提升移动应用操作助手的性能和可用性。代码已开源，方便研究人员复现和改进。

🎯 应用场景

PeriGuru可广泛应用于辅助老年人、残疾人等弱势群体使用智能手机，提升他们的生活质量和社交参与度。此外，该技术还可应用于自动化测试、远程设备控制等领域，具有广阔的应用前景。未来，通过进一步优化算法和硬件设计，PeriGuru有望成为智能家居和人机交互的重要组成部分。

📄 摘要（原文）

Smartphones have significantly enhanced our daily learning, communication, and entertainment, becoming an essential component of modern life. However, certain populations, including the elderly and individuals with disabilities, encounter challenges in utilizing smartphones, thus necessitating mobile app operation assistants, a.k.a. mobile app agent. With considerations for privacy, permissions, and cross-platform compatibility issues, we endeavor to devise and develop PeriGuru in this work, a peripheral robotic mobile app operation assistant based on GUI image understanding and prompting with Large Language Model (LLM). PeriGuru leverages a suite of computer vision techniques to analyze GUI screenshot images and employs LLM to inform action decisions, which are then executed by robotic arms. PeriGuru achieves a success rate of 81.94% on the test task set, which surpasses by more than double the method without PeriGuru's GUI image interpreting and prompting design. Our code is available on https://github.com/Z2sJ4t/PeriGuru.