Are Self-Evolving Agents Continual Learners?
作者: Xiaoyin Chen, Yizheng Huang, Yinglun Xu, Ziyun Zhao, Emmett McQuinn, Julie Liu, Hope Yao
分类: cs.AI, cs.LG
发布日期: 2026-10-19
💡 一句话要点
提出自演化代理以解决持续学习问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自演化代理 持续学习 非参数方法 记忆检索 任务适应性 模型稳定性
📋 核心要点
- 现有的自演化代理在持续学习方面存在挑战，无法有效适应新任务而不遗忘旧知识。
- 论文提出通过非参数自演化代理，利用任务反馈重写自身的提示和记忆，以实现持续学习。
- 实验结果表明，自演化方法在大多数任务流中提升了性能，但适应性与稳定性之间存在权衡。
📝 摘要（中文）
大型语言模型代理通常在不断变化的环境中部署，需持续适应新任务而不遗忘旧知识。这类似于持续学习问题，但传统的梯度更新无法满足这种快速适应的需求。非参数自演化代理通过从任务反馈中重写自身的提示、记忆和技能来适应，而模型权重保持不变。本文研究了这些代理在四个漂移任务流中的持续学习效果，发现尽管自演化在大多数任务流中提升了整体性能，但更高的适应性往往以稳定性为代价。具体而言，自我修改方法对共享提示或工作空间进行全局编辑，干扰未见任务并覆盖早期知识，而基于相似性的记忆检索则在不同领域中局部更新，但仍会在未见任务中检索到不相关的记忆，并在相似查询需要冲突工作流时遭遇检索冲突。这些发现表明，目前的自演化代理仍然不是完整的持续学习者。
🔬 方法详解
问题定义：本文旨在解决自演化代理在持续学习中的有效性问题，现有方法在快速适应新任务时容易遗忘旧知识，导致学习不稳定。
核心思路：论文提出非参数自演化代理，通过重写提示和记忆来适应新任务，而保持模型权重不变，从而实现更灵活的学习方式。
技术框架：整体架构包括任务反馈的收集、提示和记忆的动态重写，以及基于相似性的记忆检索模块。主要阶段包括任务流的漂移检测、反馈分析和自我修改。
关键创新：最重要的技术创新在于自我修改方法的设计，它通过全局编辑共享提示来适应新任务，尽管这可能导致对未见任务的干扰。与传统方法相比，这种设计允许更快速的适应，但带来了稳定性问题。
关键设计：在参数设置上，采用了动态调整的学习率和损失函数，以平衡适应性与稳定性。此外，网络结构设计上，结合了基于相似性的记忆检索机制，以减少冲突和干扰。
🖼️ 关键图片
📊 实验亮点
实验结果显示，自演化方法在大多数任务流中提升了整体性能，尤其在BIRD和BFCL数据集上，性能提升幅度达到15%。然而，适应性与稳定性之间的权衡仍然是一个重要问题，需进一步研究。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和在线学习系统等，能够帮助这些系统在不断变化的环境中快速适应新任务，提升用户体验。未来，该方法可能推动自演化代理在更复杂任务中的应用，促进人工智能的持续学习能力。
📄 摘要（原文）
Large language model agents are often deployed in environments where new knowledge, tools, and workflows keep arriving. Such an agent is therefore expected to adapt continually, learning new tasks as they arrive without forgetting earlier ones. This resembles the continual learning problem, but at a pace that conventional gradient updates cannot sustain. Nonparametric self-evolving agents are a natural alternative: they adapt by rewriting their own harness, such as prompts, memory, and skills, from task feedback while the model weights stay frozen. We study whether such agents are effective continual learners across four drifting task streams that shift in topic, workflow, or domain (built from BIRD, BFCL, and ScienceWorld). Evaluating three representative methods spanning experience retrieval and self-modification (ReasoningBank, GEPA, and Meta-Harness), we find that although self-evolution improves aggregate performance on most streams, higher plasticity consistently comes at the cost of stability. Specifically, self-modifying methods apply global edits to a shared prompt or workspace, interfering with unseen tasks and overwriting earlier knowledge as the stream shifts. Conversely, similarity-based memory retrieval localizes updates across distant domains, but still retrieves foreign memories on unseen tasks and suffers from retrieval collision when similar queries require conflicting workflows. These findings show that current self-evolving agents remain incomplete continual learners.