MemComposer: Learning to Assemble Memories for LLM Agents via Reinforcement Learning
作者: Yixuan Xie, Xueqiang Xu, Xinyi Fan, Xinxi Lyu, Tao Feng, Xing Fan, Chenlei Guo, Jie Hao, Shaowen Wang, Jiashuo Sun, Jiawei Han
分类: cs.AI, cs.CL
发布日期: 2026-10-15
备注: 30 pages, 8 figures, 14 tables
💡 一句话要点
提出MemComposer以优化LLM代理的记忆组装问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 记忆组装 大型语言模型 经验策略优化 下游任务 智能代理
📋 核心要点
- 现有方法在记忆选择和呈现上存在不足，无法保证记忆的有效性，影响下游任务的性能。
- 论文提出MemComposer，通过联合分析当前查询和候选记忆，优化记忆的选择和排序过程。
- 实验结果表明，MemComposer在多个领域中超越了最强基线，同时显著减少了记忆令牌的使用量。
📝 摘要（中文）
代理记忆使大型语言模型（LLM）代理能够重用过去的经验，而无需更新其参数。然而，仅凭语义相似性并不能保证记忆的有效性：下游性能依赖于如何选择和呈现记忆。我们提出了MemComposer，这是一种记忆组装器，能够联合考察当前查询和检索到的候选记忆，以决定包含哪些经验、选择多少以及如何排序。我们使用经验策略优化（ExPO）训练该组装器，该框架基于GRPO，通过完整的代理交互评估组装的记忆上下文，并利用任务成功反馈来优化组装策略。在三个τ²-bench领域中，MemComposer在每个执行器上均超越了最强基线，同时分别减少了16.9%和4.9%的平均记忆令牌使用量。所学习的策略还能够迁移到未见领域、执行器和记忆库，并受益于更强模型生成的记忆，而无需进一步训练。这些结果展示了利用下游任务反馈学习特定查询的记忆组装的价值。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型（LLM）代理在记忆使用中的有效性问题。现有方法仅依赖语义相似性来选择记忆，未能充分考虑记忆的实际应用效果，导致下游任务性能不佳。
核心思路：MemComposer通过联合分析当前查询和检索到的候选记忆，决定哪些经验需要被包含、选择多少以及如何排序，从而优化记忆的组装过程。该方法旨在提升记忆的实用性和有效性。
技术框架：MemComposer的整体架构包括记忆检索、候选记忆分析和记忆组装三个主要模块。首先，通过检索机制获取候选记忆，然后分析这些记忆与当前查询的相关性，最后根据分析结果进行记忆的选择和排序。
关键创新：本研究的核心创新在于引入了经验策略优化（ExPO）框架，通过完整的代理交互评估记忆上下文，并利用任务成功反馈来优化组装策略。这一方法与传统的记忆选择方法相比，更加注重记忆的实际应用效果。
关键设计：在设计上，MemComposer采用了GRPO基础的策略优化方法，设置了多种参数以适应不同的任务需求。同时，损失函数设计考虑了记忆的选择和排序效果，以确保最终的记忆组装能够有效提升下游任务的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MemComposer在三个τ²-bench领域中超越了每个执行器的最强基线，平均减少了16.9%和4.9%的记忆令牌使用量。这表明该方法在提升记忆使用效率和下游任务性能方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括智能助手、对话系统和自动化内容生成等。通过优化记忆的选择和组装，LLM代理能够更高效地利用历史经验，从而提升用户交互的质量和效率。未来，该技术可能在多模态学习和人机交互等领域产生深远影响。
📄 摘要（原文）
Agent memory enables large language model (LLM) agents to reuse past experiences without updating their parameters. However, semantic similarity alone does not guarantee memory usefulness: downstream performance depends on how memories are selected and presented to the agent. We propose MemComposer, a memory composer that jointly examines the current query and retrieved candidates to decide which experiences to include, how many to select, and how to order them. We train the composer using Experience Policy Optimization (ExPO), a GRPO-based framework that evaluates assembled memory contexts through complete agent interactions and uses task-success feedback to optimize the assembly policy. Across three $τ^2$-bench domains with two frozen executors, MemComposer outperforms the strongest baseline for each executor while reducing average memory-token usage by 16.9% and 4.9%, respectively. The learned policy also transfers to unseen domains, executors, and memory banks, and benefits from memories generated by stronger models without further training. These results demonstrate the value of learning query-specific memory assembly using downstream task feedback.