All-in-One Memory: Process-Rewarded Reinforcement Learning for Memory Agents

📄 arXiv: 2610.21147v2 📥 PDF

作者: Bingbing Wang, Jingjie Lin, Weiming Qiao, Jing Li, Ruifeng Xu

分类: cs.AI

发布日期: 2026-10-15 (更新: 2026-10-16)

备注: 9 pages, 5 figures

💡 一句话要点

提出All-in-One Memory以解决长时记忆优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时记忆 强化学习 外部记忆 多视图事件 统一奖励空间

📋 核心要点

  1. 现有记忆方法在检索和记忆构建上缺乏统一的奖励评估，导致性能不佳。
  2. 提出的All-in-One Memory通过共享证据状态整合检索、写入和停止决策，优化记忆策略。
  3. 在长上下文记忆基准测试中，AiO-Mem显著提高了回答准确性，优于传统方法。

📝 摘要（中文）

大型语言模型越来越依赖外部记忆来回答基于长时间历史的查询，如多会话对话和冗长文档。然而，现有的记忆方法通常将检索和记忆构建分开优化，缺乏共享的奖励空间来评估搜索、写作和停止决策。为此，本文提出了All-in-One Memory (AiO-Mem)，将这些操作组织为在共享证据状态上的转移，并直接在统一的奖励空间中评估每个动作的语义质量。AiO-Mem将异构历史编译为源可追溯的多视图事件，为检索和记忆写入提供共享基础。统一的记忆策略演员在此共享证据状态上展开完整的交互轨迹。通过证据驱动的监督微调和轨迹级DPO训练的单独轨迹条件过程奖励模型，为收集的轨迹分配过程分数。这些分数被聚合为动作平衡的轨迹奖励，并由过程对齐的DAPO (PA-DAPO)优化记忆策略。在长上下文记忆基准测试中，AiO-Mem在回答准确性上始终优于静态记忆系统和RL训练的记忆代理。

🔬 方法详解

问题定义：本文旨在解决现有记忆方法在检索和记忆构建上分开优化的问题，缺乏统一的奖励空间来评估不同决策的效果，导致长时记忆的性能不足。

核心思路：论文提出的All-in-One Memory (AiO-Mem)通过将检索、写入和停止决策整合为在共享证据状态上的转移，从而实现对每个动作的语义质量进行统一评估。这样的设计使得不同操作之间能够共享信息，提高了整体效率。

技术框架：AiO-Mem的整体架构包括多个模块：首先，将异构历史编译为源可追溯的多视图事件；其次，使用统一的记忆策略演员在共享证据状态上展开完整的交互轨迹；最后，通过轨迹条件的过程奖励模型为轨迹分配分数，并优化记忆策略。

关键创新：最重要的技术创新在于将检索、写入和停止决策整合在一个统一的奖励空间中进行评估，这与现有方法的分开优化形成鲜明对比，显著提升了长时记忆的性能。

关键设计：在设计过程中，采用了证据驱动的监督微调和轨迹级DPO训练来优化过程奖励模型，并通过聚合过程分数形成动作平衡的轨迹奖励，以此来优化记忆策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在长上下文记忆基准测试中，AiO-Mem的回答准确性显著提高，相较于静态记忆系统和RL训练的记忆代理，表现出更优的性能，具体提升幅度未知。这表明该方法在处理复杂记忆任务时具有明显优势。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、信息检索和长文档处理等。通过优化记忆策略，AiO-Mem能够在多轮对话和复杂信息检索中提供更准确的回答，提升用户体验。未来，该方法可能在更广泛的人工智能应用中发挥重要作用，尤其是在需要处理长时依赖的任务中。

📄 摘要（原文）

Large language models increasingly rely on external memory to answer queries grounded in long-horizon histories such as multi-session dialogues and lengthy documents. However, existing memory methods often optimize retrieval and memory construction separately, without a shared reward space for evaluating search, writing, and stopping decisions. To address this, we propose All-in-One Memory (AiO-Mem), which organizes these operations as transitions over a shared evidence state and directly evaluates the semantic quality of each action in a unified reward space. AiO-Mem compiles heterogeneous histories into source-traceable multi-view events, providing a shared substrate for retrieval and memory writing. A unified memory policy actor then rolls out complete interaction trajectories over this shared evidence state. A separate trajectory-conditioned process reward model is trained through evidence-grounded supervised fine-tuning and trajectory-level DPO to assign process scores to the collected trajectories. These scores are aggregated into an action-balanced trajectory reward and used by Process-Aligned DAPO (PA-DAPO) to optimize the memory policy. Across long-context memory benchmarks, AiO-Mem consistently improves answer accuracy over both static memory systems and RL-trained memory agents.