MemCode: Discrete Semantic Representations for Long-Term Agent Memory

📄 arXiv: 2610.19472v1 📥 PDF

作者: Xin Li, Liang Hu, Duoqian Miao, Ming Peng, Qi Zhang

分类: cs.AI

发布日期: 2026-10-14

备注: 27 Pages, Accepted by NeurIPS 2026

💡 一句话要点

提出MemCode以解决长时记忆不稳定问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时记忆 语义量化 对话系统 信息检索 机器学习

📋 核心要点

  1. 现有的长时记忆系统在检索时存在不稳定性，容易错过逻辑相关的信息，影响对话的连贯性。
  2. MemCode通过将对话重写为原子记忆单元，并使用可学习的代码本进行语义量化，提供了一种新的长时记忆框架。
  3. 在多个基准测试中，MemCode展示了优越的性能，显著提高了记忆构建速度和准确性。

📝 摘要（中文）

长时记忆仍然是大型语言模型（LLM）代理在多个会话中的一个基本瓶颈。现有系统通常采用写入后检索的范式，存储上下文相关的对话片段，并通过最近邻搜索在连续嵌入空间中检索。这种设计导致访问单元不稳定，并系统性地错过逻辑相关但词汇上距离较远的证据。我们提出了MemCode，一个长时代理记忆框架，它将检索导向的写入与离散关联检索相结合。MemCode将对话重写为自包含的原子记忆单元（AMUs），将AMUs映射到具有同构语义量化（ISQ）的可学习代码本，并利用代码本共现拓扑作为补充向量搜索的检索路径。在长时记忆存储中，MemCode将在线原子写入与异步离线整合分开。在LongMemEval-S和LoCoMo上，使用GPT-4o-mini和Qwen3-30B-A3B-Instruct-2507作为基础，MemCode在保持每个对话记忆构建在大约40~130秒内的同时，实现了最佳的整体准确性，使其比LightMem快3~21倍，比A-MEM和MemoryOS快一个数量级以上。

🔬 方法详解

问题定义：论文要解决的具体问题是现有长时记忆系统在检索时的不稳定性和信息丢失，尤其是在处理逻辑相关但词汇上距离较远的证据时。现有方法通常依赖于连续嵌入空间的最近邻搜索，导致访问单元不稳定。

核心思路：MemCode的核心解决思路是将对话重写为自包含的原子记忆单元（AMUs），并通过同构语义量化（ISQ）将这些AMUs映射到一个可学习的代码本中，从而实现更稳定和高效的检索。

技术框架：MemCode的整体架构包括两个主要阶段：在线原子写入和异步离线整合。在线阶段负责实时写入对话信息，而离线阶段则进行记忆的整合与优化。检索时，MemCode利用代码本的共现拓扑作为补充向量搜索的路径。

关键创新：MemCode的最重要技术创新在于引入了离散的语义表示和代码本共现拓扑，这与传统的连续嵌入方法形成了本质区别，提供了更稳定的检索机制。

关键设计：在设计上，MemCode采用了可学习的代码本，利用同构语义量化来优化记忆单元的表示。此外，系统在参数设置和损失函数的选择上进行了精细调整，以确保高效的记忆构建和检索性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

MemCode在LongMemEval-S和LoCoMo基准测试中表现优异，取得了最佳的整体准确性。其每个对话的记忆构建时间在40~130秒之间，比LightMem快3~21倍，比A-MEM和MemoryOS快一个数量级以上，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、个性化推荐和人机交互等。通过提高长时记忆的稳定性和检索效率，MemCode能够显著提升用户体验和系统的智能化水平，未来可能在多个行业中发挥重要作用。

📄 摘要（原文）

Long-term memory remains a fundamental bottleneck for large language model (LLM) agents across sessions. Existing systems typically adopt a write-then-retrieve paradigm, storing context-dependent dialogue fragments and retrieving them via nearest-neighbor search in a continuous embedding space. This design yields unstable access units and systematically misses logically related but lexically distant evidence. We propose MemCode, a long-term agent memory framework that couples retrieval-oriented writing with discrete associative retrieval. MemCode rewrites dialogue into self-contained atomic memory units (AMUs), maps AMUs into a learnable codebook with isomorphic semantic quantization (ISQ), and uses codebook co-occurrence topology as a retrieval path complementary to vector search. For long-term memory stores, MemCode separates online atomic writes from asynchronous offline consolidation. On LongMemEval-S and LoCoMo with GPT-4o-mini and Qwen3-30B-A3B-Instruct-2507 backbones, MemCode achieves the best overall accuracy while keeping per-dialogue memory construction within roughly 40~130 seconds, making it 3~21 times faster than LightMem and over an order of magnitude faster than A-MEM and MemoryOS.