Mnemis: Dual-Route Retrieval on Hierarchical Graphs for Long-Term LLM Memory

📄 arXiv: 2602.15313v1 📥 PDF

作者: Zihao Tang, Xin Yu, Ziyu Xiao, Zengxuan Wen, Zelin Li, Jiaxi Zhou, Hualei Wang, Haohua Wang, Haizhen Huang, Weiwei Deng, Feng Sun, Qi Zhang

分类: cs.CL

发布日期: 2026-02-17

备注: 10 pages

💡 一句话要点

提出Mnemis框架以解决长时记忆检索中的全局推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时记忆 大型语言模型 记忆检索 图神经网络 全局推理 语义理解 人工智能

📋 核心要点

  1. 现有的记忆检索方法主要依赖相似性机制，难以处理需要全局推理的复杂场景。
  2. Mnemis框架结合了系统1的相似性检索与系统2的全局选择，支持更全面的记忆检索。
  3. 在长时记忆基准测试中，Mnemis在性能上超越了所有对比方法，显示出显著的提升。

📝 摘要（中文）

AI记忆，尤其是模型如何组织和检索历史信息，对于大型语言模型（LLMs）变得越来越重要。然而，现有方法（如RAG和Graph-RAG）主要通过基于相似性的机制进行记忆检索，虽然高效，但在需要全局推理或全面覆盖相关信息的场景中表现不佳。本文提出了Mnemis，一个新颖的记忆框架，结合了系统1的相似性检索与互补的系统2机制——全局选择。Mnemis将记忆组织为基础图以进行相似性检索，并构建层次图以支持对语义层次的自上而下的有意遍历。通过结合两种检索路径的互补优势，Mnemis能够检索到在语义和结构上都相关的记忆项。在长时记忆基准测试中，Mnemis在所有比较方法中实现了最先进的性能，使用GPT-4.1-mini在LoCoMo上得分93.9，在LongMemEval-S上得分91.6。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在长时记忆检索中面临的全局推理和信息覆盖不足的问题。现有方法如RAG和Graph-RAG主要依赖相似性检索，无法有效处理复杂的语义关系和层次结构。

核心思路：Mnemis框架的核心在于将系统1的快速相似性检索与系统2的全局选择机制相结合，允许模型在检索时进行更深层次的语义理解和结构化信息的访问。这样的设计旨在提升模型在复杂任务中的表现。

技术框架：Mnemis的整体架构包括两个主要模块：基础图用于相似性检索，层次图用于支持自上而下的语义遍历。模型首先通过基础图进行快速检索，然后利用层次图进行更深入的全局选择，以确保检索到的记忆项在语义和结构上都相关。

关键创新：Mnemis的创新之处在于引入了层次图结构，允许模型在检索过程中进行更复杂的推理和信息整合。这一机制与传统的相似性检索方法形成了鲜明对比，显著提升了模型的记忆检索能力。

关键设计：在模型设计中，Mnemis采用了特定的损失函数以优化相似性检索和全局选择的平衡，同时在网络结构上引入了层次化的图神经网络，以增强模型对语义层次的理解能力。

📊 实验亮点

Mnemis在长时记忆基准测试中表现出色，使用GPT-4.1-mini在LoCoMo上得分93.9，在LongMemEval-S上得分91.6，超越了所有对比方法，显示出显著的性能提升，验证了其在复杂记忆检索任务中的有效性。

🎯 应用场景

Mnemis框架在长时记忆检索中的应用潜力巨大，尤其适用于需要复杂推理和信息整合的自然语言处理任务，如对话系统、知识问答和信息检索等领域。其设计理念可以为未来的AI记忆系统提供新的思路，推动智能助手和自动化系统的进步。

📄 摘要（原文）

AI Memory, specifically how models organizes and retrieves historical messages, becomes increasingly valuable to Large Language Models (LLMs), yet existing methods (RAG and Graph-RAG) primarily retrieve memory through similarity-based mechanisms. While efficient, such System-1-style retrieval struggles with scenarios that require global reasoning or comprehensive coverage of all relevant information. In this work, We propose Mnemis, a novel memory framework that integrates System-1 similarity search with a complementary System-2 mechanism, termed Global Selection. Mnemis organizes memory into a base graph for similarity retrieval and a hierarchical graph that enables top-down, deliberate traversal over semantic hierarchies. By combining the complementary strength from both retrieval routes, Mnemis retrieves memory items that are both semantically and structurally relevant. Mnemis achieves state-of-the-art performance across all compared methods on long-term memory benchmarks, scoring 93.9 on LoCoMo and 91.6 on LongMemEval-S using GPT-4.1-mini.