Memory Type Varies: Empowering LLM Agents for Long-Term Memory with Diverse Strategies

📄 arXiv: 2610.11573v1 📥 PDF

作者: Yi Wen, Derong Xu, Pengyue Jia, Yichao Wang, Yingyi Zhang, Maolin Wang, Junyi Li, Wenlin Zhang, Xiaopeng Li, Yong Liu, Xiangyu Zhao

分类: cs.AI

发布日期: 2026-10-08

备注: NeurIPS 2026 Accept Paper

💡 一句话要点

提出MemoType以解决长时记忆检索策略多样性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 记忆检索 多类数据集 自适应策略 机器学习

📋 核心要点

  1. 现有的记忆检索方法未能有效区分不同类型的记忆，导致性能下降。
  2. 本文提出了TriMEM数据集和MemoType框架，以适应性地识别记忆和查询类型，优化检索策略。
  3. 实验结果显示，MemoType在多个数据集上均表现优异，Recall@1提升达到16.18%。

📝 摘要（中文）

大型语言模型（LLMs）的记忆能力近年来受到越来越多的关注。尽管取得了显著成功，现有的基于检索的记忆方法通常忽视了记忆之间的差异，采用统一策略处理所有记忆，导致性能不佳。为此，本文提出了一个名为TriMEM的多类记忆数据集，提供了不同场景下记忆类型的精确注释。在此基础上，提出了一种新颖的记忆框架MemoType，能够自适应识别每种记忆和查询类型，并设计量身定制的检索策略，从而提升检索性能。实验结果表明，MemoType在三个数据集上均优于现有方法，Recall@1提升幅度可达16.18%。

🔬 方法详解

问题定义：本文旨在解决现有记忆检索方法未能区分不同记忆类型的问题，导致检索性能受限。现有方法通常采用统一策略，无法针对不同类型的记忆进行优化。

核心思路：提出了TriMEM数据集以精确标注记忆类型，并基于此开发了MemoType框架，能够自适应识别记忆和查询类型，从而设计针对性的检索策略。

技术框架：MemoType框架主要包括记忆类型识别模块、查询类型识别模块和检索策略设计模块。通过学习的路由模型，系统能够根据输入的记忆和查询类型进行动态调整。

关键创新：最重要的创新在于提出了多类记忆的分类方法和相应的自适应检索策略，突破了单一检索策略的性能瓶颈。

关键设计：在技术细节上，MemoType采用了多层神经网络结构，结合特定的损失函数来优化记忆和查询的匹配度，确保检索的高效性和准确性。具体参数设置和网络结构设计在实验部分进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MemoType在三个不同数据集上均显著优于现有方法，Recall@1的提升幅度最高可达16.18%。这一结果验证了多类记忆检索策略的有效性，为未来的研究提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括智能助手、知识管理系统和个性化推荐等。通过提升记忆检索的准确性和效率，MemoType能够在实际应用中提供更为精准的用户体验，推动智能系统的进一步发展。

📄 摘要（原文）

The memory capabilities of Large Language Models (LLMs) have garnered increasing attention recently. Despite great success achieved, existing retrieval-based memory approaches typically overlook the differences between memories and employ a unified strategy to process all memories, leading to suboptimal performance. Thus, an intuitive question arises: can we categorize memory into different types and select appropriate strategies? However, given the topic-rich, scenario-complex, and boundary-blurred nature of memory scenarios, achieving precise classification of memories is not easy. To address this challenge, we propose a memory multi-class dataset in this paper, termed TriMEM, which provides precise annotations for memory types across diverse scenarios. Building upon this foundation, we propose a novel memory framework, named MemoType, which can adaptively recognize each memory and query type with the learned router model. With the memory and query routing, MemoType can retrieve the memory with corresponding query types and design tailored retrieval strategies, thereby enhancing the retrieval performance. Moreover, we theoretically prove that any single retrieval strategy is subject to a fundamental upper bound on its expected retrieval precision in multi-class corpora, leading to systematic precision degradation. Extensive experiments on three datasets demonstrate that MemoType consistently outperforms existing methods, achieving up to 16.18% improvement in Recall@1.