MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems
作者: Xinle Deng, Ruobin Zhong, Hujin Peng, Xiaoben Lu, Yanzhe Wu, Guang Li, Buqiang Xu, Yunzhi Yao, Jizhan Fang, Haoliang Cao, Junjie Guo, Yuan Yuan, Ziqing Ma, Yuanqiang Yu, Rui Hu, Baohua Dong, Hangcheng Zhu, Ningyu Zhang
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-05-27
备注: Ongoing work
🔗 代码/项目: GITHUB
💡 一句话要点
MemTrace：通过可执行的记忆演化图追踪和归因大语言模型记忆系统中的错误
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 记忆系统 错误追踪 自动归因 长程推理 提示优化 可执行图
📋 核心要点
- 现有大语言模型记忆系统存在不可靠、难以调试的问题，阻碍了其在长程推理任务中的应用。
- MemTrace框架将记忆管道转化为可执行的记忆演化图，实现对操作信息流的细粒度追踪，从而定位错误。
- MemTraceBench基准测试和自动归因方法揭示了记忆失效的系统性问题，并指导提示优化，提升了任务性能。
📝 摘要（中文）
记忆对于支持大语言模型进行长程推理至关重要，但现有的记忆系统仍然不可靠且难以调试。追踪记忆的动态演化对于理解信息如何被合成、传播或随时间推移而损坏至关重要。本文研究了大语言模型记忆系统中的错误追踪和归因这一新问题。我们提出了一个新颖的框架，将记忆管道转换为可执行的记忆演化图，从而能够对操作信息流进行细粒度的追踪。我们构建了MemTraceBench，一个从长文本、RAG、Mem0和EverMemOS等代表性记忆系统中收集的基准，以系统地研究记忆失效模式。我们进一步引入了一种自动归因方法，该方法迭代地追踪操作子图，以查明任何失败案例的根本原因。我们的分析表明，记忆失效是系统性的，源于操作层面的问题，如信息丢失和检索错位。至关重要的是，我们利用这些细粒度的归因信号来指导下游提示优化，建立一个自动纠正错误并提高最终任务性能高达7.62%的闭环系统。
🔬 方法详解
问题定义：现有的大语言模型记忆系统在长程推理任务中表现出不可靠性，并且难以调试。当模型出现错误时，很难追踪信息在记忆系统中的流动和演化过程，从而难以定位错误的根源。现有的方法缺乏对记忆系统内部操作的细粒度追踪和归因能力。
核心思路：论文的核心思路是将记忆系统中的操作流程转化为可执行的记忆演化图。通过构建这个图，可以追踪信息在各个操作节点之间的流动和转换，从而实现对记忆系统内部状态的细粒度监控。当出现错误时，可以通过回溯图中的路径来定位导致错误的具体操作。
技术框架：MemTrace框架包含以下几个主要模块：1) 记忆管道转换器：将现有的记忆系统（如RAG、Mem0等）转化为可执行的记忆演化图。2) 错误检测器：检测记忆系统在执行过程中出现的错误。3) 自动归因模块：通过迭代地追踪操作子图，定位导致错误的根源。4) 提示优化器：利用归因结果指导下游提示优化，从而纠正错误并提升任务性能。
关键创新：该论文最重要的技术创新点在于提出了可执行的记忆演化图的概念，并将其应用于大语言模型记忆系统的错误追踪和归因。与现有方法相比，MemTrace能够提供更细粒度的信息流动视图，从而更准确地定位错误根源。此外，自动归因方法和提示优化器的结合，形成了一个闭环的错误纠正系统。
关键设计：MemTraceBench基准测试包含多种记忆系统和任务，用于评估错误追踪和归因的效果。自动归因模块采用迭代追踪算法，逐步缩小错误范围，最终定位到具体的错误操作。提示优化器则根据归因结果，调整提示词，以改善模型的性能。具体的参数设置和损失函数等细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MemTrace能够有效地追踪和归因大语言模型记忆系统中的错误。在MemTraceBench基准测试中，该方法能够准确地定位错误根源，并利用归因结果指导提示优化，最终将端到端任务的性能提升高达7.62%。这些结果验证了MemTrace框架的有效性和实用性。
🎯 应用场景
该研究成果可应用于各种需要长程推理的大语言模型应用场景，例如问答系统、对话系统、知识图谱推理等。通过自动追踪和归因记忆系统中的错误，可以提高模型的可靠性和性能，降低调试成本，并促进大语言模型在实际应用中的广泛部署。
📄 摘要（原文）
Memory is essential for enabling large language models to support long-horizon reasoning, yet existing memory systems remain unreliable and difficult to debug. Tracing memory's dynamic evolution is crucial to understand how information is synthesized, propagated, or corrupted over time. In this work, we study the new problem of error tracing and attribution in LLM memory systems. We propose a novel framework that transforms memory pipelines into executable memory evolution graphs, enabling fine-grained tracing of operational information flow. We then construct MemTraceBench, a benchmark collected from representative memory systems such as Long-Context, RAG, Mem0, and EverMemOS, to systematically study memory failure modes. We further introduce an automatic attribution method that iteratively traces operation subgraphs to pinpoint the root cause of any failed case. Our analysis reveals that memory failures are systematic, stemming from operation-level issues like information loss and retrieval misalignment. Crucially, we leverage these fine-grained attribution signals to guide downstream prompt optimization, establishing a closed-loop system that automatically corrects faults and boosts end-task performance by up to 7.62%. Code will be released at https://github.com/zjunlp/MemTrace.