The AI Hippocampus: How Far are We From Human Memory?
作者: Zixia Jia, Jiaqi Li, Yipeng Kang, Yuxuan Wang, Tong Wu, Quansen Wang, Xiaobo Wang, Shuyi Zhang, Junzhe Shen, Qing Li, Siyuan Qi, Yitao Liang, Di He, Zilong Zheng, Song-Chun Zhu
分类: cs.AI
发布日期: 2026-01-14
期刊: Transactions on Machine Learning Research (11/2025)
💡 一句话要点
综述LLM与MLLM中的记忆机制，构建隐式、显式和Agent式记忆的统一分类体系。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多模态学习 记忆机制 知识表示 Agent式记忆
📋 核心要点
- 现有LLM和MLLM在持续学习和个性化推理方面面临挑战，缺乏有效的记忆机制来支持长期知识积累和利用。
- 论文提出一个统一的记忆分类体系，涵盖隐式、显式和Agent式三种记忆范式，旨在系统性地理解和整合记忆机制。
- 论文综述了LLM和MLLM中记忆机制的最新进展，并讨论了多模态记忆整合、容量限制和事实一致性等关键挑战。
📝 摘要（中文）
本文全面综述了大型语言模型（LLM）和多模态LLM（MLLM）中的记忆机制，这些机制对于增强模型的推理、适应性和上下文保真度至关重要。随着这些模型从静态预测器转变为能够持续学习和个性化推理的交互式系统，整合记忆机制已成为其架构和功能演变的核心主题。本文将文献组织成一个连贯的分类体系，包括隐式、显式和Agent式记忆范式。具体而言，本文阐述了三种主要的记忆框架：隐式记忆指嵌入在预训练Transformer内部参数中的知识；显式记忆涉及外部存储和检索组件，旨在利用动态、可查询的知识表示来增强模型输出；Agent式记忆在自主Agent中引入持久的、时间上扩展的记忆结构，促进长期规划、自我一致性和多Agent系统中的协作行为。此外，本文还探讨了记忆在多模态环境中的整合，并讨论了关键的架构进展、基准任务和开放挑战，包括与记忆容量、对齐、事实一致性和跨系统互操作性相关的问题。
🔬 方法详解
问题定义：当前的大型语言模型（LLM）和多模态大型语言模型（MLLM）在处理需要长期记忆、持续学习和个性化推理的任务时面临挑战。现有的模型要么依赖于预训练参数中编码的隐式知识，要么使用外部存储来增强记忆，但这些方法在记忆容量、更新效率、事实一致性和跨模态对齐方面存在局限性。
核心思路：本文的核心思路是对LLM和MLLM中的记忆机制进行系统性的分类和综述，将其划分为隐式记忆、显式记忆和Agent式记忆三种范式。通过分析每种范式的特点、优势和不足，为未来的研究提供一个清晰的框架，并促进不同记忆机制的整合和优化。
技术框架：本文的综述框架主要包含以下几个部分： 1. 隐式记忆：讨论预训练模型内部参数中编码的知识，以及如何解释、操纵和重新配置这些知识。 2. 显式记忆：介绍外部存储和检索组件，如文本语料库、稠密向量和图结构，用于增强模型的动态知识表示。 3. Agent式记忆：探讨在自主Agent中使用的持久性记忆结构，用于支持长期规划和多Agent协作。 4. 多模态记忆：分析视觉、语言、音频和动作等多模态信息融合中的记忆机制。 5. 挑战与展望：讨论记忆容量、对齐、事实一致性和跨系统互操作性等关键挑战，并展望未来的研究方向。
关键创新：本文的创新之处在于提出了一个统一的记忆分类体系，将LLM和MLLM中的记忆机制划分为隐式、显式和Agent式三种范式。这种分类方法有助于研究人员更好地理解不同记忆机制的特点和适用场景，并促进不同记忆机制的整合和优化。与以往的综述相比，本文更加关注Agent式记忆和多模态记忆，并深入探讨了记忆机制在长期规划、多Agent协作和跨模态推理中的作用。
关键设计：本文主要是一个综述，没有提出新的算法或模型。但是，文章对现有记忆机制的分类和分析，为未来的研究提供了重要的指导。例如，在显式记忆方面，可以研究如何设计更有效的外部存储结构和检索算法，以提高记忆容量和检索效率。在Agent式记忆方面，可以研究如何设计更鲁棒的记忆更新机制，以保证长期规划和多Agent协作的稳定性。
📊 实验亮点
本文对LLM和MLLM中的记忆机制进行了全面的综述，并提出了一个统一的分类体系。该综述涵盖了隐式记忆、显式记忆和Agent式记忆三种范式，并深入探讨了多模态记忆整合、容量限制和事实一致性等关键挑战。该研究为未来的研究提供了重要的指导，并有助于推动人工智能的发展。
🎯 应用场景
该研究成果可应用于开发具有更强推理能力、适应性和上下文理解能力的人工智能系统。例如，可以用于构建更智能的对话系统、更可靠的自动驾驶系统和更高效的机器人助手。此外，该研究还有助于推动通用人工智能的发展，使机器能够像人类一样进行学习、记忆和推理。
📄 摘要（原文）
Memory plays a foundational role in augmenting the reasoning, adaptability, and contextual fidelity of modern Large Language Models and Multi-Modal LLMs. As these models transition from static predictors to interactive systems capable of continual learning and personalized inference, the incorporation of memory mechanisms has emerged as a central theme in their architectural and functional evolution. This survey presents a comprehensive and structured synthesis of memory in LLMs and MLLMs, organizing the literature into a cohesive taxonomy comprising implicit, explicit, and agentic memory paradigms. Specifically, the survey delineates three primary memory frameworks. Implicit memory refers to the knowledge embedded within the internal parameters of pre-trained transformers, encompassing their capacity for memorization, associative retrieval, and contextual reasoning. Recent work has explored methods to interpret, manipulate, and reconfigure this latent memory. Explicit memory involves external storage and retrieval components designed to augment model outputs with dynamic, queryable knowledge representations, such as textual corpora, dense vectors, and graph-based structures, thereby enabling scalable and updatable interaction with information sources. Agentic memory introduces persistent, temporally extended memory structures within autonomous agents, facilitating long-term planning, self-consistency, and collaborative behavior in multi-agent systems, with relevance to embodied and interactive AI. Extending beyond text, the survey examines the integration of memory within multi-modal settings, where coherence across vision, language, audio, and action modalities is essential. Key architectural advances, benchmark tasks, and open challenges are discussed, including issues related to memory capacity, alignment, factual consistency, and cross-system interoperability.