Crafting Personalized Agents through Retrieval-Augmented Generation on Editable Memory Graphs

📄 arXiv: 2409.19401v1 📥 PDF

作者: Zheng Wang, Zhongyang Li, Zeren Jiang, Dandan Tu, Wei Shi

分类: cs.CL, cs.IR

发布日期: 2024-09-28

备注: This paper has been accepted by EMNLP 2024

💡 一句话要点

提出EMG-RAG框架，利用可编辑记忆图谱增强检索增强生成，为用户打造个性化智能体。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化智能体 检索增强生成 可编辑记忆图谱 大型语言模型 强化学习

📋 核心要点

  1. 现有方法难以有效管理和利用个人设备上持续生成的用户数据（记忆），从而限制了LLM在个性化服务中的应用。
  2. 论文提出EMG-RAG框架，利用可编辑记忆图谱存储和检索用户数据，并结合检索增强生成技术提升LLM的个性化能力。
  3. 实验结果表明，EMG-RAG在真实数据集上优于现有方法约10%，并成功部署到智能手机AI助手，提升了用户体验。

📝 摘要（中文）

本文提出了一项新任务：利用大型语言模型（LLM）驱动的个性化智能体，通过用户智能手机中的记忆数据来增强下游应用。为了实现这一目标，我们引入了EMG-RAG，它结合了检索增强生成（RAG）技术和可编辑记忆图谱（EMG）。该方法通过强化学习进行优化，以解决三个不同的挑战：数据收集、可编辑性和可选择性。在真实世界数据集上的大量实验验证了EMG-RAG的有效性，相比现有最佳方法，性能提升约10%。此外，个性化智能体已被转移到真实的智能手机AI助手，从而提高了可用性。

🔬 方法详解

问题定义：论文旨在解决如何有效利用用户个人设备上持续产生的“记忆”数据，构建个性化智能体的问题。现有方法难以有效管理和利用这些数据，导致LLM无法充分发挥其在个性化服务中的潜力。痛点在于数据量大、噪声多、结构复杂，难以直接用于LLM的输入。

核心思路：论文的核心思路是构建一个可编辑的记忆图谱（Editable Memory Graph, EMG）来结构化地存储和管理用户数据，并结合检索增强生成（Retrieval-Augmented Generation, RAG）技术，让LLM能够从EMG中检索相关信息，从而生成更个性化的响应。这样既能有效利用用户数据，又能避免直接将大量原始数据输入LLM带来的问题。

技术框架：EMG-RAG框架包含以下几个主要模块：1) 数据收集模块：负责从用户设备上收集各种数据，例如文本、图像、音频等。2) 记忆图谱构建模块：将收集到的数据构建成可编辑的记忆图谱，节点表示实体或概念，边表示关系。3) 检索模块：根据用户输入，从EMG中检索相关的信息。4) 生成模块：利用LLM，结合检索到的信息，生成个性化的响应。5) 强化学习优化模块：使用强化学习来优化数据收集、可编辑性和可选择性三个方面。

关键创新：论文的关键创新在于提出了可编辑记忆图谱（EMG）的概念，并将其与RAG技术相结合。EMG允许对用户记忆进行动态更新和编辑，从而更好地适应用户需求的变化。此外，使用强化学习来优化数据收集、可编辑性和可选择性，进一步提升了EMG-RAG的性能。与现有方法的本质区别在于，EMG-RAG能够更有效地管理和利用用户数据，从而生成更个性化的响应。

关键设计：在记忆图谱构建方面，论文可能采用了知识图谱嵌入技术，将节点和边表示成向量，以便进行相似度计算和检索。在强化学习方面，论文可能定义了奖励函数，鼓励智能体收集更有价值的数据，并对记忆图谱进行有效的编辑。具体的参数设置、损失函数、网络结构等技术细节在论文中可能有所描述，但此处无法得知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，EMG-RAG在真实世界数据集上取得了显著的性能提升，相比现有最佳方法，性能提升约10%。此外，该方法成功部署到智能手机AI助手，并显著提高了用户体验。这些结果验证了EMG-RAG的有效性和实用性。

🎯 应用场景

该研究成果可应用于各种需要个性化服务的场景，例如智能助手、推荐系统、客户服务等。通过利用用户的个人数据，可以为用户提供更贴心、更高效的服务。未来，该技术有望在医疗、教育等领域发挥重要作用，例如个性化健康管理、定制化学习方案等。

📄 摘要（原文）

In the age of mobile internet, user data, often referred to as memories, is continuously generated on personal devices. Effectively managing and utilizing this data to deliver services to users is a compelling research topic. In this paper, we introduce a novel task of crafting personalized agents powered by large language models (LLMs), which utilize a user's smartphone memories to enhance downstream applications with advanced LLM capabilities. To achieve this goal, we introduce EMG-RAG, a solution that combines Retrieval-Augmented Generation (RAG) techniques with an Editable Memory Graph (EMG). This approach is further optimized using Reinforcement Learning to address three distinct challenges: data collection, editability, and selectability. Extensive experiments on a real-world dataset validate the effectiveness of EMG-RAG, achieving an improvement of approximately 10% over the best existing approach. Additionally, the personalized agents have been transferred into a real smartphone AI assistant, which leads to enhanced usability.