MemPilot: Orchestrating On-Demand Multimodal Memory Curation for LLM Agents

📄 arXiv: 2610.06830v1 📥 PDF

作者: Haozhen Zhang, Haodong Yue, Quanyu Long, Jianzhu Bao, Qingyuan Liu, Tao Feng, Bohan Liu, Weida Liang, Wenya Wang

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-10-05

备注: Code is available at https://github.com/ViktorAxelsen/MemPilot

💡 一句话要点

提出MemPilot以解决多模态记忆管理的灵活性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态记忆 大型语言模型 强化学习 记忆策划 性能优化 智能代理 信息检索

📋 核心要点

  1. 现有的记忆系统往往以查询无关的方式构建，导致信息处理的灵活性不足，且可能丢失重要细节。
  2. MemPilot通过强化学习优化多步骤LLM策略，实现查询无关记忆与查询特定策划的动态选择，提升了记忆管理的灵活性。
  3. 在五个多模态代理记忆基准上，MemPilot展示了优于现有基线的性能，提供了更好的性能、成本和延迟权衡。

📝 摘要（中文）

记忆在大型语言模型（LLM）代理生态系统中变得至关重要，支持信息的保留和重用。然而，现有的记忆系统通常以查询无关的方式构建，导致不必要的预处理成本，并丢弃后续可能重要的细节。为了解决这一挑战，本文提出了MemPilot，一个灵活的框架，能够根据不同的性能、成本和延迟偏好进行按需记忆策划。通过强化学习优化多步骤LLM策略，MemPilot能够在查询无关的记忆检索和特定查询的多模态历史策划之间进行选择，从而实现运行时计算的精细分配。实验表明，该方法在五个多模态代理记忆基准上表现出良好的性能、成本和延迟权衡。

🔬 方法详解

问题定义：本文旨在解决现有多模态记忆系统在信息处理灵活性不足的问题。现有方法通常以查询无关的方式构建记忆，导致不必要的预处理成本，并可能丢失后续重要信息。

核心思路：MemPilot的核心思路是通过强化学习优化多步骤LLM策略，使其能够在查询无关的记忆检索和特定查询的多模态历史策划之间进行动态选择，从而实现更灵活的记忆管理。

技术框架：MemPilot的整体架构包括多个模块，主要包括记忆检索模块、策划指令模块、模型选择模块和视觉访问模块。通过这些模块的协同工作，MemPilot能够根据不同的性能、成本和延迟偏好进行记忆策划。

关键创新：MemPilot的主要创新在于引入了目标导向的优势解耦技术，能够在聚合之前分别估计每个目标的优势，从而优化多目标之间的权衡。此外，采用基于前缀的边际效用估计实现了多步骤回滚中的精细信用分配。

关键设计：在设计上，MemPilot采用了多步骤的强化学习策略，结合了不同的损失函数和网络结构，以实现对运行时计算的精细分配。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个多模态代理记忆基准上的实验结果显示，MemPilot在性能、成本和延迟的权衡上表现优异，相较于现有基线，优化偏好的偏移范围更广，展现了更好的灵活性和适应性。

🎯 应用场景

MemPilot的研究成果在多模态人工智能代理、智能助手和自动化信息检索等领域具有广泛的应用潜力。通过提升记忆管理的灵活性和效率，该框架能够显著改善用户体验，并推动智能系统在复杂任务中的表现。未来，MemPilot可能会在更广泛的智能系统中得到应用，促进人机交互的智能化进程。

📄 摘要（原文）

Memory has become integral to the LLM agent ecosystem, supporting information retention and reuse across interactions. However, most existing agent memory systems construct memory in a query-agnostic manner, which can incur unnecessary preprocessing cost and discard details that later prove essential. Recent studies have begun shifting memory processing toward runtime adaptation, but typically specialize in particular operations or fixed processing schemes, leaving flexible control over performance, cost, and latency largely underexplored. To address this challenge, we present \textbf{MemPilot}, a flexible framework that orchestrates on-demand memory curation under different performance--cost--latency preferences. Specifically, we optimize a multi-step LLM policy via reinforcement learning to iteratively choose between retrieving from query-agnostic memory and delegating query-specific curation of raw multimodal history to heterogeneous LLMs and VLMs. The policy jointly controls evidence amount, curation instructions, model selection, and visual access, enabling fine-grained allocation of runtime computation. To optimize this policy under competing objectives, we adapt objective-wise advantage decoupling by separately estimating each objective's advantage before aggregation. Moreover, we introduce prefix-based marginal utility estimation for fine-grained credit assignment across multi-step rollouts. Experiments on five multimodal agent-memory benchmarks demonstrate favorable performance--cost--latency trade-offs across optimization preferences, with preference sweeps yielding broader frontiers than existing trade-off-aware baselines.