Memento 2: Learning by Stateful Reflective Memory

📄 arXiv: 2512.22716v3 📥 PDF

作者: Jun Wang

分类: cs.AI, cs.CV, cs.LG

发布日期: 2025-12-27 (更新: 2026-01-29)

备注: 35 pages, four figures

💡 一句话要点

提出基于状态反射记忆的Memento 2，用于大型语言模型智能体的持续和经验学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 经验学习 强化学习 情景记忆 反射学习

📋 核心要点

  1. 现有大型语言模型在持续学习和适应新任务时面临挑战，尤其是在不更新模型参数的情况下。
  2. Memento 2 提出了一种基于状态反射记忆的框架，通过情景记忆和反思机制，使智能体能够利用过去的经验指导未来的行动。
  3. 该框架通过读写操作模拟策略评估和改进，并证明了在记忆增长的情况下，策略能够收敛到最优解。

📝 摘要（中文）

本文针对大型语言模型智能体中的持续和经验学习进行了理论研究，该智能体结合了情景记忆和强化学习。我们认为，在不更新模型参数的情况下实现持续适应的关键机制是反思：智能体利用过去经验来指导未来行动的能力。实证研究表明，情景式的、经验驱动的反思能够实现各种开放式、长时程任务中的泛化适应。这表明高效学习可以在部署期间发生，并削弱了训练和测试之间的传统分离。受此启发，我们引入了状态反射决策过程，这是一种反射记忆动态的正式模型。在这个抽象中，智能体维护一个情景记忆并执行两个核心操作。写入存储交互结果，并扮演策略评估的角色。读取检索相关的过去案例以指导决策，并扮演策略改进的角色。这种视角将反射记忆视为一个可以使用经典强化学习工具进行分析的控制对象。然后，我们通过将检索集成到软策略迭代中来开发一个读写反射学习框架，并建立收敛保证。我们表明，随着记忆的增长并提供更密集的空间覆盖，由此产生的复合策略收敛到最优解。总的来说，这个框架将实际的基于记忆的方法与有原则的强化学习联系起来，为构建能够持续通用学习的反射式、嵌入记忆的智能体提供了严格的数学基础。

🔬 方法详解

问题定义：论文旨在解决大型语言模型智能体在持续学习和经验学习中面临的挑战，特别是在开放式、长时程任务中，如何在不更新模型参数的情况下实现泛化适应。现有方法通常需要大量的重新训练或微调，效率较低，且容易遗忘之前的知识。

核心思路：论文的核心思路是引入“反思”机制，即智能体利用过去的经验来指导未来的行动。通过维护一个情景记忆，智能体可以存储和检索相关的过去案例，从而在决策时借鉴经验，实现持续学习和适应。这种方法将学习过程分解为策略评估（写入）和策略改进（读取）两个核心操作。

技术框架：论文提出了状态反射决策过程（Stateful Reflective Decision Process），作为反射记忆动态的正式模型。该框架包含以下主要模块：1) 情景记忆：用于存储智能体的交互经验。2) 写入操作：将交互结果存储到情景记忆中，类似于策略评估。3) 读取操作：从情景记忆中检索相关案例，用于指导决策，类似于策略改进。4) 读写反射学习框架：将检索集成到软策略迭代中，实现策略的持续改进。

关键创新：论文最重要的技术创新点在于将反射记忆视为一个控制对象，并使用经典的强化学习工具进行分析。通过建立状态反射决策过程，论文将基于记忆的方法与有原则的强化学习联系起来，为构建具有持续学习能力的智能体提供了理论基础。此外，论文还提出了读写反射学习框架，并证明了其收敛性。

关键设计：论文的关键设计包括：1) 情景记忆的组织和检索机制，如何高效地存储和检索相关案例是关键。2) 读写操作的具体实现，如何将写入操作对应于策略评估，将读取操作对应于策略改进。3) 软策略迭代的集成，如何将检索到的信息融入到策略更新中。论文还建立了收敛性保证，证明了随着记忆的增长，策略能够收敛到最优解。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过理论分析证明了所提出的读写反射学习框架的收敛性，表明随着记忆的增长和覆盖范围的扩大，智能体的策略能够收敛到最优解。虽然摘要中没有明确提及具体的实验数据，但强调了实证研究表明，情景式的、经验驱动的反思能够实现各种开放式、长时程任务中的泛化适应。

🎯 应用场景

该研究成果可应用于各种需要持续学习和适应的场景，例如机器人导航、对话系统、游戏AI等。通过利用过去的经验，智能体可以更好地适应新的环境和任务，提高学习效率和泛化能力。该研究还有助于推动通用人工智能的发展，使智能体能够像人类一样进行持续学习和知识积累。

📄 摘要（原文）

We present a theoretical study of continual and experiential learning in large language model agents that combine episodic memory with reinforcement learning. We argue that the key mechanism for continual adaptation, without updating model parameters, is reflection: the agent's ability to use past experience to guide future actions. Empirical findings suggest that episodic, experience-driven reflection enables generalised adaptation across a wide range of open-ended, long-horizon tasks. This indicates that efficient learning can occur during deployment and weakens the traditional separation between training and testing. Motivated by this, we introduce the Stateful Reflective Decision Process, a formal model of reflective memory dynamics. In this abstraction, an agent maintains an episodic memory and performs two core operations. Writing stores interaction outcomes and plays the role of policy evaluation. Reading retrieves relevant past cases to inform decisions and plays the role of policy improvement. This perspective treats reflective memory as a control object that can be analysed using classical reinforcement learning tools. We then develop a read-write reflective learning framework by integrating retrieval into soft policy iteration and establish convergence guarantees. We show that as memory grows and provides denser coverage of the state space, the resulting composite policy converges to the optimal solution. Overall, this framework connects practical memory-based methods with principled reinforcement learning, providing a rigorous mathematical basis for building reflective, memory-embedded agents capable of continual general-purpose learning.