Self-Evolving Agents Can Repair Failures but Struggle to Generalize from Them
作者: Weixiang Zhao, Yichen Zhang, Yanyan Zhao, Jinming Bai, Bin Liang, Ruifeng Xu, Bing Qin, Ting Liu
分类: cs.CL
发布日期: 2026-10-16
备注: 28 pages, 9 figures, 6 tables. Weixiang Zhao and Yichen Zhang contributed equally
💡 一句话要点
提出冷启动失败演化方法以解决自我演化智能体的泛化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自我演化 失败学习 大型语言模型 智能体适应性 泛化能力 交互学习 冷启动
📋 核心要点
- 现有自我演化方法依赖成功轨迹，缺乏在失败情况下的演化能力研究。
- 提出冷启动失败演化（CFOE）方法，智能体仅从失败交互中学习，无需外部指导。
- 实验结果表明，失败经验能修复已知任务，但在新任务上泛化能力不足。
📝 摘要（中文）
经验驱动的自我演化为大型语言模型（LLM）智能体通过交互持续改进提供了有希望的路径。然而，现有方法往往依赖于成功轨迹或外部评估信号，导致在缺乏正向锚点时智能体的演化能力不明。本文通过冷启动失败演化（CFOE）研究这一问题，智能体在没有积累经验的情况下，仅从失败交互中学习。研究发现，失败经验能够帮助修复先前的失败任务，但在未见任务上几乎无法实现持续改进。进一步分析表明，智能体常常误解失败，即使是经过验证的正确经验也难以转移。放宽CFOE条件显示，验证者反馈和额外交互提供的增益有限，而成功轨迹显著改善了转移能力。这些发现表明，当前自我演化智能体在修复观察到的失败方面表现更佳，而在从失败中构建可泛化能力方面存在不足。
🔬 方法详解
问题定义：本文旨在解决自我演化智能体在缺乏成功经验时的演化能力不足问题。现有方法依赖于成功轨迹或外部反馈，导致智能体在面对失败时难以有效学习和适应。
核心思路：提出冷启动失败演化（CFOE）方法，智能体从失败交互中学习，旨在探索在没有正向反馈的情况下，智能体如何通过失败经验进行自我修复和演化。
技术框架：整体架构包括三个自我演化范式，多个LLM骨干网络，以及四个交互环境。智能体在这些环境中进行交互，通过失败经验进行学习和修复。
关键创新：最重要的创新在于提出了CFOE方法，强调在缺乏成功经验的情况下，智能体如何依赖失败经验进行自我修复，而不是依赖外部反馈或成功轨迹。
关键设计：在实验中，设计了多种交互环境和LLM骨干，采用特定的损失函数来评估失败修复的效果，同时分析了验证者反馈对学习的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，失败经验能够有效修复已知任务的失败，但在未见任务上泛化能力不足，表现出修复-泛化差距。放宽CFOE条件下，验证者反馈和额外交互的增益有限，而成功轨迹的引入显著提升了智能体的转移能力。
🎯 应用场景
该研究的潜在应用领域包括智能体自主学习、机器人控制和人机交互等。通过提升智能体在失败情况下的学习能力，能够增强其在复杂环境中的适应性和鲁棒性，未来可能在自动化和智能系统中发挥重要作用。
📄 摘要（原文）
Experience-driven self-evolution offers a promising path for large language model (LLM) agents to continually improve through interaction. Yet existing approaches often rely on successful trajectories or external evaluation signals, leaving unclear whether agents can evolve when such positive anchors are unavailable. We study this question through Cold-Start Failure-Only Evolution (CFOE), where agents start without accumulated experience and learn only from failed interactions without privileged guidance. Across three self-evolving paradigms, multiple LLM backbones, and four interactive environments, we uncover a consistent repair-generalization gap: failure-derived experience can help repair previously failed tasks, but rarely yields sustained improvements on unseen tasks. Further analysis shows that agents often misinterpret failures, while even verified-correct experience remains difficult to transfer. Relaxing CFOE reveals that verifier feedback and additional interaction provide limited gains, whereas successful trajectories substantially improve transfer. These findings suggest that current self-evolving agents are better at repairing observed failures than building generalizable capabilities from failure.