EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory
作者: Hongru Cai, Ran Wei, Wenjie Wang, Chengfa Wu, Ning Song, Yongqi Li, Wenjie Li
分类: cs.CL
发布日期: 2026-10-07
💡 一句话要点
提出EngramEdit以实现大语言模型的知识独立更新
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 条件记忆 知识更新 大型语言模型 n-gram嵌入 Transformer 多表达预测 编辑接口
📋 核心要点
- 现有方法在更新事实知识时，可能会意外改变模型对其他事实的预测，导致知识更新的挑战。
- EngramEdit通过条件记忆实现知识的独立更新，计算目标记忆表示以确保模型在多种表达下预测更新的事实。
- 实验结果显示，EngramEdit在链式推理下的准确率接近最强基线的三倍，同时保留了无关知识和通用能力。
📝 摘要（中文）
条件记忆架构如DeepSeek Engram利用输入n-gram查找学习到的嵌入，扩展了大型语言模型（LLMs）的能力，同时增加的计算量有限。该架构展示了将事实知识存储与通用计算解耦的潜力，提供了一条在保持Transformer骨干不变的情况下更新事实知识的有效途径。为实现这一潜力，论文提出EngramEdit，通过条件记忆进行独立的知识更新。EngramEdit首先计算目标记忆表示，使模型能够在多种表达下预测更新的事实。然后，它联合更新共享的n-gram嵌入，以匹配这些目标，并对频繁重用的嵌入施加更强的惩罚，以保护无关知识。实验表明，EngramEdit实现了通过条件记忆的独立事实知识更新，编辑成功率接近完美。
🔬 方法详解
问题定义：论文旨在解决在大型语言模型中更新事实知识时，如何避免对其他知识的意外影响。现有方法在共享嵌入更新时，可能会导致模型预测的不一致性。
核心思路：EngramEdit的核心思路是通过条件记忆实现知识的独立更新，首先计算目标记忆表示，使模型能够在不同表达下准确预测更新的事实。
技术框架：EngramEdit的整体架构包括两个主要模块：目标记忆表示计算模块和共享n-gram嵌入更新模块。前者确保模型在多种表达下的预测一致性，后者则负责更新嵌入以匹配目标。
关键创新：EngramEdit的最大创新在于将条件记忆转变为可编辑的知识接口，支持独立的知识更新，超越了传统的模型扩展方法。
关键设计：在设计中，EngramEdit对频繁重用的嵌入施加更强的惩罚，以保护无关知识。此外，损失函数的设计确保了目标记忆表示与共享嵌入之间的有效匹配。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EngramEdit在链式推理下的准确率接近最强基线的三倍，编辑成功率接近完美，同时有效保留了无关知识和模型的通用能力。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、知识图谱更新和对话系统等。通过实现知识的独立更新，EngramEdit能够提高模型在动态环境中的适应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Conditional memory architectures such as DeepSeek Engram use input n-grams to look up learned embeddings, expanding the capacity of large language models (LLMs) with limited additional computation. Beyond model scaling, this architecture has demonstrated the potential to decouple factual knowledge storage from general-purpose computation, offering a promising route to updating factual knowledge while keeping the Transformer backbone fixed. Realizing this potential is challenging because different expressions of a fact may activate different n-gram embeddings, while updating shared embeddings can unintentionally change the model's predictions about other facts. We propose EngramEdit for decoupled knowledge updates through conditional memory. EngramEdit first computes target memory representations that make the model predict the updated fact across multiple expressions. It then jointly updates the shared n-gram embeddings to match these targets across expressions and edits, penalizing updates to frequently reused embeddings more strongly to preserve unrelated knowledge. Experiments show that EngramEdit enables independent factual knowledge updates through conditional memory, achieving near-perfect editing success. Revised knowledge is usable across unseen expressions and in multi-hop reasoning, with nearly three times the strongest baseline's accuracy under chain-of-thought (CoT) prompting. Unrelated knowledge and general capabilities are largely preserved even as factual updates accumulate. These findings show that EngramEdit turns conditional memory into an editable knowledge interface, extending its role beyond model scaling to support decoupled knowledge updates.