Cortex: Consolidating Context into Parametric Memory
作者: Jintian Zhang, Feng He, Xinnian Liang, Ziwen Xu, Haoming Xu, Haojing Huang, Shuangzhi Wu, Ningyu Zhang
分类: cs.CL, cs.AI, cs.CV, cs.LG, cs.MA
发布日期: 2026-10-14
备注: Technical report
💡 一句话要点
提出Cortex以解决上下文整合与记忆保持问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 上下文整合 记忆保持 大型语言模型 前馈网络 性能提升
📋 核心要点
- 现有方法在上下文移除后，无法有效保持模型性能的提升，导致信息损失。
- 本文提出Cortex，通过生成前瞻性查询和蒸馏上下文条件输出，实现记忆整合与保持。
- 实验结果显示，Cortex在多种模型上实现了显著的性能保持，尤其在连续编辑后表现优异。
📝 摘要（中文）
上下文可以提升大型语言模型的性能，但在上下文移除后，这些提升可能会丧失。受生物系统整合的启发，本文将记忆整合（MC）定义为在保留非目标能力的同时内化这些提升，连接上下文特定编辑、技能学习和行为引导。我们提出Cortex，通过生成前瞻性查询来预期上下文的使用，并将上下文条件输出蒸馏为可合并的低秩或结构前馈网络更新。在多种模型架构下，Cortex在大多数评估设置中位于经验整合-保持的帕累托前沿。经过50次连续的事实编辑，Cortex-结构能够恢复88.9%的上下文引起的增益，同时保留99.8%的原始非目标性能。
🔬 方法详解
问题定义：本文旨在解决上下文信息在大型语言模型中的整合与保持问题。现有方法在上下文移除后，模型性能的提升往往无法得到有效保持，导致信息损失和能力下降。
核心思路：Cortex的核心思路是通过生成前瞻性查询来预期上下文的使用，并将上下文条件的输出蒸馏为可合并的低秩或结构前馈网络更新。这种设计旨在在保留非目标能力的同时，内化上下文带来的性能提升。
技术框架：Cortex的整体架构包括生成前瞻性查询、上下文条件输出的蒸馏和网络更新三个主要模块。首先，生成的查询用于预测上下文的潜在用途；其次，蒸馏过程将上下文信息转化为可合并的网络更新；最后，更新后的模型能够在保留原有能力的同时，提升对上下文的适应性。
关键创新：Cortex的主要创新在于将记忆整合与上下文使用的前瞻性预测相结合，形成了一种新的整合机制。这一机制与现有方法的本质区别在于，它不仅关注上下文的使用，还强调了在保持非目标性能的同时实现性能提升。
关键设计：在实现过程中，Cortex采用了低秩更新和结构前馈网络的设计，确保了模型在更新过程中的高效性和灵活性。此外，损失函数的设计也考虑了上下文信息的保留与非目标能力的保持，确保了模型的综合性能。
🖼️ 关键图片
📊 实验亮点
在实验中，Cortex-结构经过50次连续的事实编辑后，成功恢复了88.9%的上下文引起的性能提升，同时保留了99.8%的原始非目标性能。这一结果表明Cortex在记忆整合与保持方面的显著优势，尤其是在处理复杂任务时的有效性。
🎯 应用场景
Cortex的研究成果在多个领域具有潜在应用价值，包括自然语言处理、对话系统和多模态学习等。通过有效整合上下文信息，Cortex能够提升模型在复杂任务中的表现，尤其是在需要快速适应新信息的场景中。未来，该方法可能推动智能助手、自动翻译和个性化推荐等应用的发展。
📄 摘要（原文）
Context can improve large language model performance, but these gains may be lost after context removal. Inspired by biological systems consolidation, we formulate Memory Consolidation (MC) as internalizing these gains while preserving non-target capabilities, connecting context-specified editing, skill learning, and behavioral steering under a common objective. We introduce a five-task-family testbed measuring consolidation and retention under single, batch, and sequential updates. We propose Cortex, which generates prospective queries to anticipate uses of context and distills context-conditioned outputs into mergeable low-rank or structural feed-forward network updates. Across 4B--120B dense and mixture-of-experts backbones, including both text-only and multimodal models, Cortex lies on the empirical consolidation--retention Pareto frontier in most evaluated settings. After 50 sequential factual edits on a 14B model, Cortex-Structural recovers 88.9% of the context-induced gain while retaining 99.8% of original non-target performance.