Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

📄 arXiv: 2607.13591v1 📥 PDF

作者: Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu

分类: cs.CL, cs.AI

发布日期: 2026-07-15

💡 一句话要点

提出MemCon框架以优化大语言模型的记忆管理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 记忆管理 大语言模型 马尔可夫决策过程 自适应学习 任务成功率 资源优化

📋 核心要点

  1. 现有的记忆管理方法依赖固定的启发式，无法适应不同任务的动态需求，导致记忆利用效率低下。
  2. 本文提出MemCon框架，通过马尔可夫决策过程自适应管理记忆操作，优化检索和遗忘策略。
  3. 在多个基准测试中，MemCon显著提升了任务成功率，并有效降低了资源消耗，展示了其优越性。

📝 摘要（中文）

大型语言模型（LLM）代理越来越依赖外部记忆系统来积累跨任务的经验。然而，现有方法大多通过固定的手工设计启发式访问记忆，导致记忆行为的静态视角成为代理学习的核心瓶颈。本文提出了记忆作为受控过程（MemCon）框架，将记忆操作建模为马尔可夫决策过程，学习在线策略以自适应地决定何时、何物以及多少进行检索、何时注入提炼计划以及何时整合或遗忘。MemCon对后端无关，能够包裹任何现有的记忆实现，并通过任务逐步的二元反馈进行学习，无需预训练和额外的LLM调用。实验结果表明，MemCon在6个基准、3个代理框架和3个LLM骨干网络上，任务成功率比多个记忆基线提高了最多15.2个百分点，同时减少了5-20%的标记消耗。

🔬 方法详解

问题定义：现有的记忆管理方法大多依赖于固定的手工设计启发式，无法根据任务的上下文动态调整记忆检索策略，导致记忆利用效率低下。

核心思路：本文提出的MemCon框架将记忆操作视为一个马尔可夫决策过程，学习自适应策略以决定何时、何物以及多少进行检索，旨在提高记忆的有效性和灵活性。

技术框架：MemCon框架包括多个模块：首先是记忆检索模块，根据当前任务状态选择合适的记忆；其次是计划注入模块，决定何时引入提炼的计划；最后是记忆整合与遗忘模块，优化记忆存储以保持其有效性。

关键创新：MemCon的核心创新在于其动态自适应的记忆管理策略，区别于传统方法的静态检索机制，能够根据任务上下文灵活调整记忆操作。

关键设计：MemCon使用轻量级的表格上下文赌博机（UCB探索）进行学习，能够在数十个任务内收敛，且无需预训练和额外的LLM调用，极大地提高了学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MemCon在6个基准测试中表现优异，相较于多个记忆基线，任务成功率提高了最多15.2个百分点，同时标记消耗减少了5-20%。这一结果表明MemCon在记忆管理上的显著优势。

🎯 应用场景

MemCon框架具有广泛的应用潜力，尤其在需要高效记忆管理的智能代理系统中，如对话系统、自动化决策支持和个性化推荐等领域。其自适应记忆管理能力能够显著提升系统的响应速度和准确性，未来可能推动更智能的人工智能应用的发展。

📄 摘要（原文）

Large Language Model (LLM) agents increasingly rely on external memory systems to accumulate experience across tasks. Yet nearly all existing approaches, from graph-structured memories to reflective insight stores, access memory through fixed, hand-designed heuristics. We argue that this static view of memory is a core bottleneck for agentic learning because optimal memory behavior is fundamentally context-dependent. The early stages of the tasks, benefit from minimal retrieval because memory is sparse; recurring goal types benefit from plan reuse rather than generic nearest-neighbor lookup; stuck agents benefit from re-retrieval with alternative queries; and across long task streams, the memory store itself must be consolidated and pruned to remain useful. We present Memory as a Controlled Process (MemCon), a framework that models memory operations as a Markov Decision Process and learns an online policy that adaptively decides when, what, and how much to retrieve, when to inject a distilled plan, and when to consolidate or forget. MemCon is backend-agnostic: it wraps any existing memory implementation, learns from task-by-task binary feedback with no pretraining and no additional LLM calls, and uses a lightweight tabular contextual bandit with UCB exploration that converges within tens of tasks. Across 6 benchmarks, 3 agent frameworks, and 3 LLM backbones, MemCon consistently outperforms multiple memory baselines by up to 15.2 points in task success while reducing token consumption by 5--20%.