A Survey of Self-Evolving Agents: What, When, How, and Where to Evolve on the Path to Artificial Super Intelligence

📄 arXiv: 2507.21046v4 📥 PDF

作者: Huan-ang Gao, Jiayi Geng, Wenyue Hua, Mengkang Hu, Xinzhe Juan, Hongzhang Liu, Shilong Liu, Jiahao Qiu, Xuan Qi, Yiran Wu, Hongru Wang, Han Xiao, Yuhang Zhou, Shaokun Zhang, Jiayi Zhang, Jinyu Xiang, Yixiong Fang, Qiwen Zhao, Dongrui Liu, Qihan Ren, Cheng Qian, Zhenhailong Wang, Minda Hu, Huazheng Wang, Qingyun Wu, Heng Ji, Mengdi Wang

分类: cs.AI

发布日期: 2025-07-28 (更新: 2026-01-16)

备注: 77 pages, 9 figures, Transactions on Machine Learning Research (01/2026)

💡 一句话要点

首个自进化Agent综述：系统性地研究了通向通用人工智能的自进化Agent的设计要素与未来方向。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自进化Agent 大型语言模型 持续学习 人工智能 Agent系统

📋 核心要点

  1. 现有大型语言模型是静态的，无法适应新的任务和动态环境，限制了其在开放式交互环境中的应用。
  2. 该综述系统性地研究了自进化Agent的设计要素，包括进化对象、进化时机和进化方式，旨在构建更具适应性和鲁棒性的Agent。
  3. 该研究分析了自进化Agent的评估指标、应用场景和未来挑战，为通用人工智能的实现提供了一个清晰的路线图。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出卓越的能力，但本质上是静态的，无法使其内部参数适应新的任务、不断发展的知识领域或动态的交互环境。随着LLMs越来越多地部署在开放式的交互环境中，这种静态性质已成为一个关键瓶颈，需要能够实时自适应地推理、行动和进化的Agent。这种范式转变——从扩展静态模型到开发自进化Agent——激发了人们对架构和方法的日益增长的兴趣，这些架构和方法能够从数据、交互和经验中进行持续学习和适应。本综述提供了第一个系统而全面的自进化Agent回顾，围绕三个基本维度组织该领域：进化什么、何时进化以及如何进化。我们检查了Agent组件（例如，模型、记忆、工具、架构）的进化机制，按阶段（例如，测试时内、测试时间）对适应方法进行分类，并分析了指导进化适应的算法和架构设计（例如，标量奖励、文本反馈、单Agent和多Agent系统）。此外，我们分析了为自进化Agent量身定制的评估指标和基准，重点介绍了在编码、教育和医疗保健等领域的应用，并确定了在安全性、可扩展性和协同进化动态方面的关键挑战和研究方向。通过为理解和设计自进化Agent提供一个结构化框架，本综述为在研究和实际部署中推进更具适应性、鲁棒性和通用性的Agent系统建立了一个路线图，并最终阐明了通用人工智能（ASI）的实现，在这种人工智能中，Agent自主进化并在各种任务中表现出超越人类水平的智能。

🔬 方法详解

问题定义：现有的大型语言模型（LLMs）虽然在各种任务中表现出色，但其静态性限制了它们在动态和开放环境中的应用。LLMs无法根据新的任务、知识领域或交互上下文调整其内部参数，这阻碍了它们在需要持续学习和适应的场景中的有效性。因此，如何构建能够自主进化和适应环境变化的Agent是当前研究面临的关键问题。

核心思路：本综述的核心思路是将自进化Agent的研究分解为三个关键维度：进化什么（What to Evolve）、何时进化（When to Evolve）以及如何进化（How to Evolve）。通过系统地分析这三个维度，可以更好地理解自进化Agent的设计空间，并为未来的研究提供指导。这种分解方式有助于研究人员关注Agent的不同组成部分，以及在不同阶段和使用不同方法进行适应。

技术框架：该综述没有提出具体的算法或架构，而是提供了一个组织和理解自进化Agent领域的框架。它涵盖了以下主要模块：1) 进化对象：分析Agent的哪些组件可以进化，例如模型、记忆、工具和架构。2) 进化时机：根据Agent的生命周期，将进化分为测试时内（intra-test-time）和测试时间（inter-test-time）两个阶段。3) 进化方式：研究指导进化适应的算法和架构设计，包括标量奖励、文本反馈、单Agent和多Agent系统。此外，还讨论了评估指标、应用场景和未来挑战。

关键创新：该综述的主要创新在于其系统性和全面性。它是第一个对自进化Agent领域进行全面回顾的综述，并提出了一个结构化的框架来理解和设计自进化Agent。该框架通过“什么、何时、如何”三个维度，将复杂的自进化Agent研究分解为更易于理解和分析的组成部分。这有助于研究人员更好地把握该领域的研究现状和未来发展方向。

关键设计：该综述没有涉及具体的技术细节，而是侧重于对现有研究的分类和分析。它讨论了各种进化机制、适应方法和算法设计，但没有深入探讨具体的参数设置、损失函数或网络结构。未来的研究可以基于该综述提出的框架，进一步探索各种技术细节，以构建更有效的自进化Agent。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述系统性地分析了自进化Agent领域，总结了现有方法，并指出了未来研究方向，例如安全性、可扩展性和协同进化动态。它强调了从静态模型到自进化Agent的范式转变，并为构建更具适应性、鲁棒性和通用性的Agent系统奠定了基础。该综述还强调了自进化Agent在实现通用人工智能方面的潜力。

🎯 应用场景

自进化Agent的研究具有广泛的应用前景，包括但不限于：1) 编码：开发能够自动修复和改进代码的Agent。2) 教育：构建个性化的学习Agent，根据学生的学习进度和反馈进行自适应调整。3) 医疗保健：设计能够辅助诊断和治疗的Agent，根据患者的病情变化进行实时调整。这些应用可以显著提高效率和质量，并为解决复杂问题提供新的思路。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities across diverse tasks but remain fundamentally static, unable to adapt their internal parameters to novel tasks, evolving knowledge domains, or dynamic interaction contexts. As LLMs are increasingly deployed in open-ended, interactive environments, this static nature has become a critical bottleneck, necessitating agents that can adaptively reason, act, and evolve in real time. This paradigm shift -- from scaling static models to developing self-evolving agents -- has sparked growing interest in architectures and methods enabling continual learning and adaptation from data, interactions, and experiences. This survey provides the first systematic and comprehensive review of self-evolving agents, organizing the field around three foundational dimensions: what, when, and how to evolve. We examine evolutionary mechanisms across agent components (e.g., models, memory, tools, architecture), categorize adaptation methods by stages (e.g., intra-test-time, inter-test-time), and analyze the algorithmic and architectural designs that guide evolutionary adaptation (e.g., scalar rewards, textual feedback, single-agent and multi-agent systems). Additionally, we analyze evaluation metrics and benchmarks tailored for self-evolving agents, highlight applications in domains such as coding, education, and healthcare, and identify critical challenges and research directions in safety, scalability, and co-evolutionary dynamics. By providing a structured framework for understanding and designing self-evolving agents, this survey establishes a roadmap for advancing more adaptive, robust, and versatile agentic systems in both research and real-world deployments, and ultimately sheds light on the realization of Artificial Super Intelligence (ASI) where agents evolve autonomously and perform beyond human-level intelligence across tasks.