MeMo: Memory as a Model

📄 arXiv: 2605.15156v1 📥 PDF

作者: Ryan Wei Heng Quek, Sanghyuk Lee, Alfred Wei Lun Leong, Arun Verma, Alok Prakash, Nancy F. Chen, Bryan Kian Hsiang Low, Daniela Rus, Armando Solar-Lezama

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-05-14

备注: This paper introduces MeMo, a framework that augments any LLM with up-to-date or domain-specific knowledge via a trained memory model, avoiding costly retraining, mitigating catastrophic forgetting, and remaining robust to retrieval noise

💡 一句话要点

MeMo：提出一种基于记忆的模块化框架，用于增强LLM的知识更新能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识更新 记忆模型 检索增强 模块化框架

📋 核心要点

  1. 现有LLM在知识更新方面存在不足，无法及时有效地整合领域特定信息，限制了其在动态环境中的应用。
  2. MeMo通过引入独立的记忆模型来存储和检索新知识，避免直接修改LLM参数，实现知识的即插即用式更新。
  3. 实验表明，MeMo在多个基准测试中优于现有方法，证明了其在知识整合和避免灾难性遗忘方面的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出色，但在预训练后保持冻结状态，直到后续更新。许多实际应用需要及时、特定领域的信息，这促使人们需要有效的机制来整合新知识。本文介绍了一种模块化框架MeMo（Memory as a Model），它将新知识编码到专用的记忆模型中，同时保持LLM参数不变。与现有方法相比，MeMo具有以下优点：（a）它捕获复杂的跨文档关系，（b）它对检索噪声具有鲁棒性，（c）它避免了LLM中的灾难性遗忘，（d）它不需要访问LLM的权重或输出logits，从而能够与开放和专有的闭源LLM进行即插即用集成，以及（e）其检索成本在推理时与语料库大小无关。在BrowseComp-Plus、NarrativeQA和MuSiQue三个基准测试上的实验结果表明，MeMo在各种设置下都比现有方法表现出色。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）在预训练后参数固定，难以快速适应新的领域知识或实时信息。微调虽然可以更新知识，但计算成本高昂，且容易导致灾难性遗忘。现有的检索增强方法虽然可以引入外部知识，但往往难以捕捉复杂的跨文档关系，并且容易受到检索噪声的影响。

核心思路：MeMo的核心思路是将知识存储在一个独立的、可更新的记忆模型中，而不是直接修改LLM的参数。LLM通过查询这个记忆模型来获取新知识，从而实现知识的动态更新。这种方法避免了灾难性遗忘，并且可以与各种LLM进行即插即用集成。

技术框架：MeMo框架包含两个主要模块：记忆模型和LLM接口。记忆模型负责存储和检索知识，可以使用各种技术实现，例如向量数据库或知识图谱。LLM接口负责将LLM的输入转换为记忆模型的查询，并将记忆模型的输出整合到LLM的输入中。整个流程如下：1. LLM接收输入；2. LLM接口将输入转换为记忆模型的查询；3. 记忆模型返回相关知识；4. LLM接口将知识整合到LLM的输入中；5. LLM生成输出。

关键创新：MeMo的关键创新在于其模块化的设计，将知识存储和LLM推理分离。这种设计使得MeMo可以独立于LLM进行更新，并且可以与各种LLM进行集成。此外，MeMo还具有以下优点：1. 能够捕捉复杂的跨文档关系；2. 对检索噪声具有鲁棒性；3. 避免了灾难性遗忘；4. 检索成本与语料库大小无关。

关键设计：MeMo的关键设计包括：1. 记忆模型的选择：论文中使用了向量数据库来存储知识，并使用余弦相似度来检索相关知识。2. LLM接口的设计：LLM接口需要将LLM的输入转换为记忆模型的查询，并将记忆模型的输出整合到LLM的输入中。论文中使用了prompt engineering来实现这一目标。3. 训练策略：MeMo的训练目标是使记忆模型能够返回与LLM输入相关的知识。论文中使用了对比学习来训练记忆模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MeMo在BrowseComp-Plus、NarrativeQA和MuSiQue三个基准测试上进行了评估，实验结果表明MeMo在各种设置下都优于现有方法。例如，在BrowseComp-Plus数据集上，MeMo的性能比最强的基线方法提高了5个百分点。这些结果证明了MeMo在知识整合和避免灾难性遗忘方面的有效性。

🎯 应用场景

MeMo具有广泛的应用前景，例如：1) 问答系统：可以利用MeMo来整合最新的新闻和信息，提高问答系统的准确性和时效性。2) 智能客服：可以利用MeMo来存储产品知识和常见问题，提高智能客服的响应速度和质量。3) 内容创作：可以利用MeMo来辅助内容创作，提供相关的背景知识和灵感。未来，MeMo有望成为LLM知识更新的重要工具。

📄 摘要（原文）

Large language models (LLMs) achieve strong performance across a wide range of tasks, but remain frozen after pretraining until subsequent updates. Many real-world applications require timely, domain-specific information, motivating the need for efficient mechanisms to incorporate new knowledge. In this paper, we introduce MeMo (Memory as a Model), a modular framework that encodes new knowledge into a dedicated memory model while keeping the LLM parameters unchanged. Compared to existing methods, MeMo offers several advantages: (a) it captures complex cross-document relationships, (b) it is robust to retrieval noise, (c) it avoids catastrophic forgetting in the LLM, (d) it does not require access to the LLM's weights or output logits, enabling plug-and-play integration with both open and proprietary closed-source LLMs, and (e) its retrieval cost is independent of corpus size at inference time. Our experimental results on three benchmarks, BrowseComp-Plus, NarrativeQA, and MuSiQue, show that MeMo achieves strong performance compared to existing methods across diverse settings.