MobileRAG: Enhancing Mobile Agent with Retrieval-Augmented Generation
作者: Gowen Loo, Chang Liu, Qinghong Yin, Xiang Chen, Jiawei Chen, Jingyuan Zhang, Yu Tian
分类: cs.CL, cs.CV
发布日期: 2025-09-04
🔗 代码/项目: GITHUB
💡 一句话要点
MobileRAG：提出检索增强生成框架，提升移动Agent在复杂任务中的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 移动Agent 检索增强生成 大型语言模型 人机交互 智能助手
📋 核心要点
- 现有移动Agent过度依赖LLM理解能力，易出错，缺乏与外部环境交互，且无记忆功能，限制了其在复杂任务中的应用。
- MobileRAG框架通过InterRAG、LocalRAG和MemRAG，利用检索增强生成技术，提升Agent对用户查询的识别精度和任务完成能力。
- MobileRAG-Eval基准测试表明，MobileRAG在真实移动任务中优于现有方法，操作步骤更少，性能提升10.3%。
📝 摘要（中文）
智能手机已成为人们日常生活中不可或缺的一部分。随着大型语言模型（LLM）的不断发展，涌现了大量基于LLM的移动Agent。这些Agent能够准确解析各种用户查询，并自动协助用户完成复杂或重复的操作。然而，当前的Agent 1) 过度依赖LLM的理解能力，可能因误操作或遗漏步骤而导致错误；2) 缺乏与外部环境的交互，当应用程序无法满足用户查询时，任务经常终止；3) 缺乏记忆能力，需要每次指令都重建界面，无法从先前的错误中学习和纠正。为了缓解上述问题，我们提出了MobileRAG，这是一个由检索增强生成（RAG）增强的移动Agent框架，包括InterRAG、LocalRAG和MemRAG。它利用RAG更快速、更准确地识别用户查询，并完成复杂和长序列的移动任务。此外，为了更全面地评估MobileRAG的性能，我们引入了MobileRAG-Eval，这是一个更具挑战性的基准，其特点是需要外部知识辅助的大量复杂、真实的移动任务。在MobileRAG-Eval上的大量实验结果表明，MobileRAG可以轻松处理真实的移动任务，与最先进的方法相比，以更少的操作步骤实现了10.3%的改进。
🔬 方法详解
问题定义：现有基于LLM的移动Agent在处理复杂移动任务时面临三大挑战：一是过度依赖LLM的理解能力，容易因误操作或步骤遗漏而导致任务失败；二是缺乏与外部环境的交互，无法处理应用无法直接满足的查询；三是缺乏记忆能力，无法从历史经验中学习和纠正错误，导致重复操作和效率低下。
核心思路：MobileRAG的核心思路是利用检索增强生成（RAG）技术，为移动Agent提供更准确的上下文信息和外部知识，从而提升其在复杂移动任务中的表现。通过检索相关信息，Agent可以更好地理解用户意图，避免误操作，并能利用外部知识解决应用无法直接满足的查询。同时，引入记忆机制，使Agent能够从历史经验中学习，提高任务完成效率。
技术框架：MobileRAG框架包含三个主要模块：InterRAG、LocalRAG和MemRAG。InterRAG负责与外部环境交互，检索相关知识；LocalRAG负责在本地应用中检索相关信息；MemRAG负责存储和检索历史经验。整体流程是：用户发起任务，Agent首先利用InterRAG和LocalRAG检索相关信息，然后结合检索到的信息和历史经验，生成操作指令，执行任务。
关键创新：MobileRAG的关键创新在于将RAG技术应用于移动Agent领域，并针对移动Agent的特点设计了InterRAG、LocalRAG和MemRAG三个模块。这使得Agent能够更好地理解用户意图，利用外部知识，并从历史经验中学习，从而提升其在复杂移动任务中的表现。与现有方法相比，MobileRAG能够更准确地识别用户查询，更有效地利用外部知识，并更智能地完成任务。
关键设计：具体的技术细节包括：InterRAG使用知识图谱或搜索引擎检索相关知识；LocalRAG使用文本匹配或语义相似度计算在本地应用中检索相关信息；MemRAG使用循环神经网络（RNN）或Transformer等模型存储和检索历史经验。损失函数的设计目标是最大化任务完成的成功率，并最小化操作步骤的数量。
🖼️ 关键图片
📊 实验亮点
MobileRAG在MobileRAG-Eval基准测试中取得了显著的成果，与最先进的方法相比，在真实移动任务中实现了10.3%的性能提升，并且操作步骤更少。这表明MobileRAG能够更有效地处理复杂移动任务，并为用户提供更优质的服务。实验结果充分验证了MobileRAG的有效性和优越性。
🎯 应用场景
MobileRAG具有广泛的应用前景，可用于开发更智能、更高效的移动助手，例如自动预订机票、管理日程、处理邮件等。它还可以应用于智能家居、智能车载等领域，实现更自然、更便捷的人机交互。该研究的实际价值在于提升移动Agent的智能化水平，降低用户的使用门槛，提高工作效率。未来，MobileRAG有望成为移动互联网时代的重要基础设施。
📄 摘要（原文）
Smartphones have become indispensable in people's daily lives, permeating nearly every aspect of modern society. With the continuous advancement of large language models (LLMs), numerous LLM-based mobile agents have emerged. These agents are capable of accurately parsing diverse user queries and automatically assisting users in completing complex or repetitive operations. However, current agents 1) heavily rely on the comprehension ability of LLMs, which can lead to errors caused by misoperations or omitted steps during tasks, 2) lack interaction with the external environment, often terminating tasks when an app cannot fulfill user queries, and 3) lack memory capabilities, requiring each instruction to reconstruct the interface and being unable to learn from and correct previous mistakes. To alleviate the above issues, we propose MobileRAG, a mobile agents framework enhanced by Retrieval-Augmented Generation (RAG), which includes InterRAG, LocalRAG, and MemRAG. It leverages RAG to more quickly and accurately identify user queries and accomplish complex and long-sequence mobile tasks. Additionally, to more comprehensively assess the performance of MobileRAG, we introduce MobileRAG-Eval, a more challenging benchmark characterized by numerous complex, real-world mobile tasks that require external knowledge assistance. Extensive experimental results on MobileRAG-Eval demonstrate that MobileRAG can easily handle real-world mobile tasks, achieving 10.3\% improvement over state-of-the-art methods with fewer operational steps. Our code is publicly available at: https://github.com/liuxiaojieOutOfWorld/MobileRAG_arxiv