Mem$^2$Evolve: Towards Self-Evolving Agents via Co-Evolutionary Capability Expansion and Experience Distillation

📄 arXiv: 2604.10923v1 📥 PDF

作者: Zihao Cheng, Zeming Liu, Yingyu Shan, Xinyi Wang, Xiangrong Zhu, Yunpu Ma, Hongru Wang, Yuhang Guo, Wei Lin, Yunhong Wang

分类: cs.CL, cs.AI

发布日期: 2026-04-13

备注: Accepted by ACL 2026 Main

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

Mem$^2$Evolve：通过协同进化能力扩展和经验提炼实现自我进化Agent

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我进化Agent 协同进化 经验提炼 能力扩展 大型语言模型

📋 核心要点

  1. 现有Agent框架孤立地处理经验积累和动态创建新资产，忽略了二者内在的相互依赖性，导致能力增长受限。
  2. Mem$^2$Evolve通过协同进化范式，利用经验指导资产动态创建，扩展Agent能力空间，同时获取新经验。
  3. 实验结果表明，Mem$^2$Evolve在多个任务上显著优于标准LLM以及仅通过经验或资产进化的Agent。

📝 摘要（中文）

本文提出了一种新颖的协同进化范式，即能力扩展和经验提炼，旨在解决现有大型语言模型驱动的Agent在自我进化方面的局限性。现有框架通常孤立地处理经验积累和动态创建新资产（工具或专家Agent）这两个进化过程，忽略了它们内在的相互依赖性。前者受限于手动预定义的静态工具集，后者则在缺乏经验指导的情况下从零开始生成新资产，导致能力增长受限和进化不稳定。为此，我们提出了Mem$^2$Evolve，它集成了经验记忆和资产记忆两个核心组件。Mem$^2$Evolve利用积累的经验来指导资产的动态创建，从而扩展Agent的能力空间，同时获取新的经验以实现协同进化。在6个任务类别和8个基准测试中进行的大量实验表明，Mem$^2$Evolve比标准LLM提高了18.53%，比仅通过经验进化的Agent提高了11.80%，比仅通过资产创建进化的Agent提高了6.46%，证明了它是一种更有效和稳定的自我进化Agent框架。

🔬 方法详解

问题定义：现有的大语言模型驱动的Agent在自我进化时，通常将经验积累和动态创建新资产（如工具或专家Agent）这两个过程孤立地进行。这种分离导致两个主要问题：一是经验积累受限于预定义的静态工具集，无法突破能力边界；二是新资产的创建缺乏经验指导，导致进化不稳定且效率低下。因此，需要一种能够将经验和资产创建有效结合的自我进化机制。

核心思路：Mem$^2$Evolve的核心思路是协同进化，即能力扩展和经验提炼相互促进。通过积累的经验来指导新资产的动态创建，从而扩展Agent的能力空间；同时，新资产的创建和使用也会带来新的经验，进一步促进Agent的进化。这种协同进化的方式能够克服现有方法的局限性，实现更有效和稳定的自我进化。

技术框架：Mem$^2$Evolve包含两个核心组件：经验记忆（Experience Memory）和资产记忆（Asset Memory）。经验记忆用于存储Agent在执行任务过程中积累的经验，包括成功和失败的案例。资产记忆用于存储Agent创建的各种资产，如工具或专家Agent。Agent在执行任务时，首先从经验记忆中检索相关经验，然后利用这些经验指导新资产的创建。新创建的资产会被添加到资产记忆中，并在后续的任务中使用。同时，Agent会将本次任务的经验添加到经验记忆中，形成一个闭环的协同进化过程。

关键创新：Mem$^2$Evolve的关键创新在于提出了协同进化范式，将经验积累和资产创建有机地结合起来。与现有方法相比，Mem$^2$Evolve不再孤立地处理这两个过程，而是通过经验指导资产创建，并通过资产的使用来积累新的经验，从而实现能力的持续扩展和进化的稳定性。

关键设计：具体的技术细节包括：经验记忆的存储和检索机制，例如使用向量数据库存储经验，并使用相似度搜索检索相关经验；资产创建的策略，例如使用提示工程（Prompt Engineering）指导LLM生成新的工具或专家Agent；以及经验提炼的方法，例如使用强化学习或监督学习从经验中学习策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Mem$^2$Evolve在6个任务类别和8个基准测试中均取得了显著的性能提升。具体来说，Mem$^2$Evolve比标准LLM提高了18.53%，比仅通过经验进化的Agent提高了11.80%，比仅通过资产创建进化的Agent提高了6.46%。这些数据表明，Mem$^2$Evolve是一种更有效和稳定的自我进化Agent框架。

🎯 应用场景

Mem$^2$Evolve具有广泛的应用前景，例如可以应用于智能客服、自动化软件开发、智能游戏等领域。通过自我进化，Agent可以不断学习新的技能和知识，从而更好地完成各种复杂的任务。该研究对于提升人工智能系统的自主性和适应性具有重要意义，并有望推动通用人工智能的发展。

📄 摘要（原文）

While large language model--powered agents can self-evolve by accumulating experience or by dynamically creating new assets (i.e., tools or expert agents), existing frameworks typically treat these two evolutionary processes in isolation. This separation overlooks their intrinsic interdependence: the former is inherently bounded by a manually predefined static toolset, while the latter generates new assets from scratch without experiential guidance, leading to limited capability growth and unstable evolution. To address this limitation, we introduce a novel paradigm of co-evolutionary Capability Expansion and Experience Distillation. Guided by this paradigm, we propose the \textbf{Mem$^{\textbf{2}}$Evolve}, which integrates two core components: \textbf{Experience Memory} and \textbf{Asset Memory}. Specifically, Mem$^{2}$Evolve leverages accumulated experience to guide the dynamic creation of assets, thereby expanding the agent's capability space while simultaneously acquiring new experience to achieve co-evolution. Extensive experiments across 6 task categories and 8 benchmarks demonstrate that Mem$^{2}$Evolve achieves improvement of 18.53\% over standard LLMs, 11.80\% over agents evolving solely through experience, and 6.46\% over those evolving solely through asset creation, establishing it as a substantially more effective and stable self-evolving agent framework. Code is available at: https://buaa-irip-llm.github.io/Mem2Evolve.