MemGuard: Preventing Memory Contamination in Long-Term Memory-Augmented Large Language Models

📄 arXiv: 2605.28009v1 📥 PDF

作者: Hyeonjeong Ha, Jeonghwan Kim, Cheng Qian, Jiayu Liu, William M. Campbell, Yue Wu, Yuji Zhang, Kathleen McKeown, Dilek Hakkani-Tur, Heng Ji

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-05-27

💡 一句话要点

MemGuard：通过类型感知记忆管理，防止长程记忆增强大语言模型中的记忆污染

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长程记忆 大语言模型 记忆污染 类型感知 对话系统

📋 核心要点

  1. 现有记忆增强大语言模型将不同类型的记忆混杂存储，导致检索时出现异构记忆污染，降低了推理的可靠性。
  2. MemGuard通过类型感知的记忆框架，在记忆构建和检索过程中维护功能性记忆边界，减少不相关记忆的干扰。
  3. 实验表明，MemGuard在幻觉和长时程对话任务中，显著提升了记忆可靠性，并减少了检索的token数量。

📝 摘要（中文）

记忆增强的大语言模型通过在交互过程中维护长期记忆来扩展推理能力，超越了固定的上下文窗口。然而，现有的记忆系统通常将稳定的用户事实、情景事件和行为规则合并到共享空间中，导致功能上不同的记忆可以被检索并用作可互换的证据。我们将这种失效模式定义为异构记忆污染，其中特定于上下文的事件变成过度概括的主张，或者语义相关但功能不兼容的记忆误导生成。为此，我们引入了MemGuard，这是一种类型感知的记忆框架，可在记忆构建和检索期间保持功能性记忆边界。它在写入时为每个记忆分配一个明确的功能角色，维护类型隔离的记忆之间的关系，并仅从必要的记忆类型中选择性地组合证据，从而减少来自不相关或功能不兼容的证据的污染。在幻觉和长时程对话基准测试中，MemGuard将记忆可靠性提高了高达28.27%，同时检索的记忆token比以前的方法少5.8倍。这些结果表明，可靠的长期推理取决于异构记忆的原则性组织和选择性使用。

🔬 方法详解

问题定义：现有记忆增强大语言模型在长期对话中，会将不同类型的记忆（如用户事实、事件、规则）存储在同一空间，导致检索时出现“异构记忆污染”问题。例如，将特定事件误用为普遍规律，或使用不兼容的记忆误导生成，降低了模型推理的准确性和可靠性。

核心思路：MemGuard的核心思路是引入“类型感知”的记忆管理机制，在记忆构建和检索过程中，显式地考虑记忆的功能类型，从而避免不同类型记忆之间的混淆和干扰。通过对记忆进行分类，并有选择性地组合证据，减少不相关或功能不兼容的证据带来的污染。

技术框架：MemGuard框架包含以下主要模块：1) 类型感知记忆构建：在写入记忆时，为每个记忆分配一个明确的功能角色（类型）。2) 类型隔离记忆存储：将不同类型的记忆存储在隔离的空间中，维护类型隔离的记忆之间的关系。3) 类型感知记忆检索：在检索记忆时，根据当前任务的需求，选择性地从必要的记忆类型中组合证据。

关键创新：MemGuard的关键创新在于引入了类型感知的记忆管理机制，这与以往的记忆增强模型将所有记忆视为同质数据不同。通过显式地对记忆进行分类和管理，MemGuard能够更有效地利用长期记忆，并减少记忆污染带来的负面影响。

关键设计：MemGuard的关键设计包括：1) 定义了一组预定义的记忆类型，例如用户事实、事件、规则等。2) 使用一个分类器来自动为新记忆分配类型。3) 在检索时，使用一个策略来选择要检索的记忆类型，并组合来自不同类型的记忆的证据。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MemGuard在幻觉和长时程对话基准测试中，将记忆可靠性提高了高达28.27%，同时检索的记忆token比以前的方法少5.8倍。这些结果表明，MemGuard能够更有效地利用长期记忆，并减少记忆污染带来的负面影响，显著提升了模型的性能。

🎯 应用场景

MemGuard技术可应用于需要长期记忆和可靠推理的对话系统、智能助手等领域。通过减少记忆污染，提高模型生成内容的准确性和一致性，从而提升用户体验。该研究对于构建更可靠、更智能的长期记忆增强大语言模型具有重要意义，并可能推动相关技术在实际场景中的应用。

📄 摘要（原文）

Memory-augmented large language models extend reasoning beyond a fixed context window by maintaining long-term memory across interactions. However, existing memory systems often collapse stable user facts, episodic events, and behavioral rules into a shared space, allowing functionally distinct memories to be retrieved and used as interchangeable evidence. We identify this failure mode as heterogeneous memory contamination, where context-specific events become overgeneralized claims, or semantically relevant but functionally incompatible memories mislead generation. To this end, we introduce MemGuard, a type-aware memory framework that preserves functional memory boundaries during memory construction and retrieval. It assigns each memory an explicit functional role at write time, maintains relations across type-isolated memories, and selectively composes evidence only from necessary memory types, reducing contamination from irrelevant or functionally incompatible evidence. Across hallucination and long-horizon conversation benchmarks, MemGuard improves memory reliability by up to 28.27% while retrieving up to 5.8x fewer memory tokens than prior methods. These results suggest that reliable long-term reasoning depends on principled organization and selective use of heterogeneous memory.