Rethinking Memory in LLM based Agents: Representations, Operations, and Emerging Topics

📄 arXiv: 2505.00675v3 📥 PDF

作者: Yiming Du, Wenyu Huang, Danna Zheng, Zhaowei Wang, Sebastien Montella, Mirella Lapata, Kam-Fai Wong, Jeff Z. Pan

分类: cs.CL

发布日期: 2025-05-01 (更新: 2025-12-24)

🔗 代码/项目: GITHUB

💡 一句话要点

针对LLM Agent记忆机制，提出包含表示、操作和新兴主题的系统性分类框架。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM Agent 记忆机制 参数式记忆 上下文式记忆 记忆操作 长期记忆 长上下文 多源记忆

📋 核心要点

  1. 现有LLM Agent研究侧重于应用，缺乏对记忆机制底层操作的系统性分析。
  2. 论文提出记忆的参数式和上下文式分类，并定义六个核心操作，构建统一的记忆框架。
  3. 该框架揭示了长期记忆、长上下文、参数修改和多源记忆四个关键研究方向。

📝 摘要（中文）

本文深入研究了基于大型语言模型（LLM）的Agent中的记忆机制。现有研究侧重于应用层面（如个性化对话），忽略了控制记忆动态的原子操作。本文将记忆分为参数式（模型权重中隐含）和上下文式（显式外部数据，结构化/非结构化）两种形式，并定义了六个核心操作：巩固、更新、索引、遗忘、检索和压缩。通过映射这些维度，揭示了四个关键研究主题：长期记忆、长上下文记忆、参数修改和多源记忆。该分类法为记忆相关研究、基准和工具提供了一个结构化的视角，阐明了LLM Agent中的功能交互，并指导未来的发展。相关数据集、论文和工具已公开。

🔬 方法详解

问题定义：现有基于LLM的Agent研究，在记忆管理方面存在不足。虽然涌现了很多应用，例如个性化对话，但是缺乏对LLM Agent记忆机制的系统性分析，特别是对记忆的表示形式和基本操作缺乏深入理解。现有方法难以有效管理和利用LLM Agent的记忆，限制了其在复杂任务中的应用。

核心思路：论文的核心思路是将LLM Agent的记忆进行系统性分类，并定义其基本操作。通过将记忆分为参数式和上下文式两种形式，并定义巩固、更新、索引、遗忘、检索和压缩六个核心操作，构建了一个统一的记忆框架。这种分类和操作定义有助于更好地理解LLM Agent的记忆机制，并为未来的研究提供指导。

技术框架：论文构建的记忆框架主要包含以下几个部分：1) 记忆表示：将记忆分为参数式记忆（隐含在模型权重中）和上下文式记忆（显式存储的外部数据，可以是结构化或非结构化的）。2) 记忆操作：定义了六个核心操作，包括巩固（将新信息整合到记忆中）、更新（修改现有记忆）、索引（为记忆建立索引以便快速检索）、遗忘（删除不相关的记忆）、检索（从记忆中提取相关信息）和压缩（减少记忆的存储空间）。3) 研究主题：基于记忆表示和操作的交叉分析，识别出四个关键研究主题，包括长期记忆、长上下文记忆、参数修改和多源记忆。

关键创新：论文最重要的创新点在于提出了一个系统性的LLM Agent记忆框架，该框架不仅对记忆进行了分类，还定义了其基本操作。这种分类和操作定义为研究LLM Agent的记忆机制提供了一个新的视角，并为未来的研究提供了指导。与现有方法相比，该框架更加全面和系统，能够更好地理解和管理LLM Agent的记忆。

关键设计：论文的关键设计在于对记忆操作的定义，例如，遗忘操作可以采用基于重要性的遗忘策略，优先删除不重要的记忆；检索操作可以采用基于相似度的检索策略，检索与当前任务最相关的记忆。此外，论文还强调了记忆的索引机制，例如可以使用向量索引来加速记忆的检索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过对现有研究的分析，识别出四个关键研究主题：长期记忆、长上下文记忆、参数修改和多源记忆。这些主题为未来的研究提供了明确的方向。此外，论文还公开了相关数据集、论文和工具，为研究人员提供了便利。

🎯 应用场景

该研究成果可应用于各种需要长期记忆和复杂推理的LLM Agent应用，例如智能助手、对话系统、知识图谱构建、自动化报告生成等。通过更好地管理和利用LLM Agent的记忆，可以提高其在复杂任务中的性能和可靠性，从而实现更智能、更高效的AI应用。

📄 摘要（原文）

Memory is fundamental to large language model (LLM)-based agents, but existing surveys emphasize application-level use (e.g., personalized dialogue), while overlooking the atomic operations governing memory dynamics. This work categorizes memory into parametric (implicit in model weights) and contextual (explicit external data, structured/unstructured) forms, and defines six core operations: Consolidation, Updating, Indexing, Forgetting, Retrieval, and Condensation. Mapping these dimensions reveals four key research topics: long-term, long-context, parametric modification, and multi-source memory. The taxonomy provides a structured view of memory-related research, benchmarks, and tools, clarifying functional interactions in LLM-based agents and guiding future advancements. The datasets, papers, and tools are publicly available at https://github.com/Elvin-Yiming-Du/Survey_Memory_in_AI.