To Know is to Construct: Schema-Constrained Generation for Agent Memory

📄 arXiv: 2604.20117v1 📥 PDF

作者: Lei Zheng, Weinan Song, Daili Li, Yanming Yang

分类: cs.CL

发布日期: 2026-04-22

💡 一句话要点

提出SCG-MEM，通过模式约束生成实现Agent Memory的有效访问，解决结构性幻觉问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Agent Memory 模式约束生成 认知模式 结构性幻觉 长期记忆 多跳推理 智能体 LLM

📋 核心要点

  1. 现有Agent Memory系统依赖密集检索，易受语义相似但上下文不同的实例干扰，引入噪声。
  2. SCG-MEM通过模式约束生成，将记忆访问转化为在认知模式内的生成过程，避免结构性幻觉。
  3. 实验表明，SCG-MEM在LoCoMo基准测试中，各项指标均显著优于基于检索的基线方法。

📝 摘要（中文）

本文提出了一种模式约束生成记忆架构SCG-MEM，旨在解决现有Agent Memory系统中基于密集检索方法的局限性。密集检索依赖语义重叠或实体匹配，难以区分语义相似但上下文不同的实例，导致检索噪声。直接采用开放式生成则可能产生“结构性幻觉”，生成不存在的记忆键。SCG-MEM将记忆访问重构为模式约束生成，通过维护动态认知模式，严格约束LLM解码，保证生成有效的记忆条目键，避免结构性幻觉。通过同化（将输入融入现有模式）和顺应（用新概念扩展模式）来更新记忆，并构建关联图以支持多跳推理。在LoCoMo基准测试上的实验表明，SCG-MEM在所有类别上均显著优于基于检索的基线方法。

🔬 方法详解

问题定义：现有Agent Memory系统主要依赖于密集检索，这种方法依赖于句子间的语义重叠或实体匹配。然而，这种方式难以区分语义相似但上下文不同的实例，导致检索结果中包含大量与当前上下文不匹配的噪声条目。此外，直接使用开放式的生成模型进行记忆访问，容易产生“结构性幻觉”，即模型生成在记忆中不存在的键，导致查找失败。

核心思路：本文的核心思路是将记忆的组织形式视为由认知模式驱动的，有效的记忆检索必须是在这些模式结构内进行的生成过程。因此，论文提出将记忆访问重新定义为模式约束生成，通过动态维护认知模式，并约束LLM的解码过程，确保生成的记忆键是有效的，从而避免结构性幻觉。

技术框架：SCG-MEM架构包含以下几个主要模块：1) 动态认知模式维护模块：负责维护和更新认知模式，通过同化（将新信息融入现有模式）和顺应（扩展模式以适应新概念）两种方式实现长期适应。2) 模式约束生成模块：利用LLM进行记忆键的生成，但解码过程受到认知模式的严格约束，确保生成的键是有效的。3) 关联图模块：构建一个关联图，用于支持多跳推理，通过激活传播在记忆中进行推理。

关键创新：SCG-MEM的关键创新在于将记忆访问问题转化为一个模式约束的生成问题。与传统的检索方法不同，SCG-MEM不是简单地基于语义相似度进行匹配，而是利用认知模式来指导记忆的生成，从而避免了结构性幻觉。此外，通过同化和顺应机制，SCG-MEM能够动态地更新认知模式，实现长期适应。

关键设计：SCG-MEM的关键设计包括：1) 认知模式的表示形式，例如使用图结构来表示实体之间的关系。2) 模式约束生成的具体实现方式，例如使用约束解码算法来限制LLM的输出空间。3) 同化和顺应的具体算法，例如使用知识图谱补全技术来扩展认知模式。4) 关联图的构建和激活传播算法，例如使用图神经网络来进行推理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SCG-MEM在LoCoMo基准测试中，各项指标均显著优于基于检索的基线方法。具体而言，SCG-MEM在所有类别上都取得了性能提升，证明了其在记忆访问和推理方面的有效性。例如，在某些任务上，SCG-MEM的性能提升超过了10%。

🎯 应用场景

SCG-MEM可应用于各种需要长期记忆和推理的智能体场景，例如对话系统、游戏AI、机器人导航等。通过更准确地访问和利用记忆，智能体可以更好地理解环境、做出决策，并与人类进行更自然的交互。该研究有助于提升智能体的智能水平和适应能力，使其在复杂环境中表现更出色。

📄 摘要（原文）

Constructivist epistemology argues that knowledge is actively constructed rather than passively copied. Despite the generative nature of Large Language Models (LLMs), most existing agent memory systems are still based on dense retrieval. However, dense retrieval heavily relies on semantic overlap or entity matching within sentences. Consequently, embeddings often fail to distinguish instances that are semantically similar but contextually distinct, introducing substantial noise by retrieving context-mismatched entries. Conversely, directly employing open-ended generation for memory access risks "Structural Hallucination" where the model generates memory keys that do not exist in the memory, leading to lookup failures. Inspired by this epistemology, we posit that memory is fundamentally organized by cognitive schemas, and valid recall must be a generative process performed within these schematic structures. To realize this, we propose SCG-MEM, a schema-constrained generative memory architecture. SCG-MEM reformulates memory access as Schema-Constrained Generation. By maintaining a dynamic Cognitive Schema, we strictly constrain LLM decoding to generate only valid memory entry keys, providing a formal guarantee against structural hallucinations. To support long-term adaptation, we model memory updates via assimilation (grounding inputs into existing schemas) and accommodation (expanding schemas with novel concepts). Furthermore, we construct an Associative Graph to enable multi-hop reasoning through activation propagation. Experiments on the LoCoMo benchmark show that SCG-MEM substantially improves performance across all categories over retrieval-based baselines.