LatentMem: Customizing Latent Memory for Multi-Agent Systems

📄 arXiv: 2602.03036v1 📥 PDF

作者: Muxin Fu, Guibin Zhang, Xiangyuan Xue, Yafu Li, Zefeng He, Siyuan Huang, Xiaoye Qu, Yu Cheng, Yang Yang

分类: cs.CL, cs.LG, cs.MA

发布日期: 2026-02-03

💡 一句话要点

LatentMem：为多智能体系统定制角色感知的紧凑型隐空间记忆

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多智能体系统 记忆机制 隐空间表示 角色感知 策略优化

📋 核心要点

  1. 现有多智能体记忆方法缺乏角色感知的定制化，导致记忆同质化，限制了智能体的个性化学习和适应能力。
  2. LatentMem通过学习智能体特定的隐空间记忆，并结合经验库和记忆组合器，实现了角色感知的记忆定制和信息压缩。
  3. 实验结果表明，LatentMem在多个基准测试中显著提升了多智能体系统的性能，优于现有记忆架构。

📝 摘要（中文）

本文提出了一种名为LatentMem的可学习多智能体记忆框架，旨在解决现有MAS中记忆设计的两个瓶颈：缺乏角色感知的定制化导致的记忆同质化，以及过于细粒度的记忆条目导致的信息过载。LatentMem包含一个以轻量级形式存储原始交互轨迹的经验库，以及一个基于检索到的经验和智能体特定上下文合成紧凑隐空间记忆的记忆组合器。此外，本文还引入了隐空间记忆策略优化（LMPO），通过隐空间记忆将任务级别的优化信号传播到组合器，鼓励其生成紧凑且高效的表示。在各种基准测试和主流MAS框架上的大量实验表明，LatentMem在原始设置上实现了高达19.36%的性能提升，并且始终优于现有的记忆架构，而无需对底层框架进行任何修改。

🔬 方法详解

问题定义：现有基于LLM的多智能体系统依赖记忆机制进行持续学习和适应，但现有方法存在两个主要问题：一是记忆同质化，即所有智能体使用相同的记忆表示，忽略了智能体的角色差异；二是信息过载，即记忆条目过于细粒度，导致冗余信息过多，影响效率。这些问题限制了多智能体系统的性能和可扩展性。

核心思路：LatentMem的核心思路是为每个智能体学习一个定制化的隐空间记忆表示。通过将原始交互轨迹存储在经验库中，并利用记忆组合器根据智能体的角色和上下文信息，从经验库中检索相关信息并合成紧凑的隐空间记忆。这种方法既能保留关键信息，又能减少冗余，同时实现角色感知的个性化记忆。

技术框架：LatentMem框架包含两个主要模块：经验库和记忆组合器。经验库用于存储原始的交互轨迹，采用轻量级存储方式以减少存储开销。记忆组合器负责从经验库中检索相关经验，并根据智能体的角色和上下文信息，生成紧凑的隐空间记忆。此外，还引入了隐空间记忆策略优化（LMPO），通过任务级别的优化信号来指导记忆组合器的学习。

关键创新：LatentMem的关键创新在于引入了可学习的隐空间记忆表示，并结合经验库和记忆组合器，实现了角色感知的记忆定制和信息压缩。与现有方法相比，LatentMem能够更好地捕捉智能体的个性化特征，并减少冗余信息，从而提高多智能体系统的性能。

关键设计：记忆组合器通常采用Transformer结构，输入包括检索到的经验和智能体的角色嵌入。LMPO通过计算任务奖励的梯度，并将梯度反向传播到记忆组合器，从而优化记忆表示。损失函数包括任务奖励损失和正则化损失，用于鼓励生成紧凑且高效的记忆表示。具体的参数设置和网络结构需要根据具体的应用场景进行调整。

📊 实验亮点

实验结果表明，LatentMem在多个基准测试中显著优于现有方法。例如，在某个基准测试中，LatentMem相对于原始设置实现了高达19.36%的性能提升。此外，LatentMem还 consistently outperform 了现有的记忆架构，证明了其有效性和优越性。

🎯 应用场景

LatentMem可应用于各种需要多智能体协作的场景，例如：自动驾驶、机器人协同、智能交通、社交网络、金融交易等。通过为每个智能体定制个性化的记忆，可以提高系统的整体效率和鲁棒性，并实现更智能化的决策。

📄 摘要（原文）

Large language model (LLM)-powered multi-agent systems (MAS) demonstrate remarkable collective intelligence, wherein multi-agent memory serves as a pivotal mechanism for continual adaptation. However, existing multi-agent memory designs remain constrained by two fundamental bottlenecks: (i) memory homogenization arising from the absence of role-aware customization, and (ii) information overload induced by excessively fine-grained memory entries. To address these limitations, we propose LatentMem, a learnable multi-agent memory framework designed to customize agent-specific memories in a token-efficient manner. Specifically, LatentMem comprises an experience bank that stores raw interaction trajectories in a lightweight form, and a memory composer that synthesizes compact latent memories conditioned on retrieved experience and agent-specific contexts. Further, we introduce Latent Memory Policy Optimization (LMPO), which propagates task-level optimization signals through latent memories to the composer, encouraging it to produce compact and high-utility representations. Extensive experiments across diverse benchmarks and mainstream MAS frameworks show that LatentMem achieves a performance gain of up to $19.36$% over vanilla settings and consistently outperforms existing memory architectures, without requiring any modifications to the underlying frameworks.