Mem++: Non-Destructive Memory for Long-Term Organizational LLM Agents

📄 arXiv: 2610.02002v1 📥 PDF

作者: Ahmad Yehia, Aly O. Abdelkareem, Islam Ahmed, Hesham Omran, Khaled Alashmouny, Christian Claudel, Abduallah Mohamed

分类: cs.CL, cs.AI

发布日期: 2026-10-01

备注: 15 pages, 4 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Mem++以解决组织工作中的长期记忆问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 记忆管理 组织工作 非破坏性记忆 文档检索 决策支持 信息融合

📋 核心要点

  1. 现有记忆系统在写入时压缩记录，导致无法灵活回答关于特定时间的决策问题。
  2. Mem++通过在读取时选择文档而非在写入时压缩，完整存储文档及其元数据，提升了回答的准确性。
  3. 在OrgMemBench基准测试中，Mem++在两个回答模型上超越了最强基线8.0至13.1分，表现出色。

📝 摘要（中文）

大型语言模型（LLM）代理在组织工作中扮演重要角色，许多作者在数月内记录决策。由于修订的决策以新文档形式出现，回答问题需要了解特定时间的版本。然而，大多数记忆系统在写入时压缩记录，限制了回答的灵活性。为此，本文提出Mem++，一种非破坏性记忆框架，转变为在读取时选择。Mem++完整存储每个文档及其日期和作者，在读取时仅检索相关文档，并融合词汇和语义排名。评估结果表明，Mem++在组织基准OrgMemBench上超越了最强基线，且在多个模型中表现优异。

🔬 方法详解

问题定义：本文旨在解决在组织工作中，如何有效管理和回答关于长期决策的问题。现有方法在写入时压缩记录，导致无法追溯特定时间的决策版本，限制了回答的灵活性和准确性。

核心思路：Mem++的核心思路是将记忆管理从写入时的压缩转变为读取时的选择。通过完整存储每个文档及其相关元数据，Mem++能够在回答问题时灵活检索所需信息，而不丢失历史版本。

技术框架：Mem++的整体架构包括文档存储模块、检索模块和融合模块。文档存储模块负责保存完整文档及其日期和作者信息；检索模块在读取时根据问题的时间戳筛选相关文档；融合模块则结合词汇和语义排名，以提高回答的准确性。

关键创新：Mem++的主要创新在于其非破坏性记忆管理方式，允许保留所有文档版本，而不是覆盖旧版本。这一设计使得回答模型可以根据需要选择最相关的文档，从而提升了回答的质量。

关键设计：Mem++在参数设置上，强调文档的完整性和时间戳的管理，确保在检索时能够准确定位到所需信息。此外，融合模块的设计采用了多种排名策略，以优化最终的回答效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OrgMemBench基准测试中，Mem++在两个回答模型上超越了最强基线8.0至13.1分，且在使用gpt-4.1-mini时，获得了最佳整体得分，比RAG高出2.6分。此外，Mem++在LoCoMo上获得了最佳平均LLM-judge得分，在LongMemEval-S中排名第二，仅次于其实体图变体。

🎯 应用场景

Mem++的研究成果在多个领域具有潜在应用价值，尤其是在需要长期决策记录和追溯的组织管理、法律文档处理和知识管理等场景。通过提供更灵活的记忆管理方式，Mem++能够帮助组织更有效地利用历史信息，提升决策质量和效率。

📄 摘要（原文）

Large Language Model (LLM) agents now take part in organizational work, where many authors record decisions across documents over months. Because a revised decision arrives as a new document rather than an edit, answering a question requires knowing which version held at a given time. However, most memory systems compress the record at write time. By distilling each document into facts, notes or graph edges, these methods fix what can be answered before any question is asked. To address this, we propose Mem++, a non-destructive memory framework shifting from write-time distillation to read-time selection. Mem++ stores every document whole with its date and author, and it calls no generative model at write time. At read time, it retrieves only documents dated up to the time a question asks about and fuses lexical and semantic rankings. Unlike systems that overwrite older versions, Mem++ keeps them and leaves the choice to the answering model. Evaluations on the organizational benchmark OrgMemBench demonstrate that Mem++ surpasses the strongest memory system baseline by 8.0 to 13.1 points across two answering models. With gpt-4.1-mini, it also achieves the best overall score, 2.6 points above RAG. In addition, Mem++ achieves the best average LLM-judge score on LoCoMo and ranks second on LongMemEval-S, behind only its entity-graph variant. Code for benchmark evaluation is available at https://github.com/AIDAChip-Inc/mem-plus-plus.