A Wrong Turn Does Not Ruin the Journey: Deviation-Guided Skill Self-Evolution for LLM Agents
作者: Yichun Feng, Jiawei Wang, Haozhe Sun
分类: cs.AI
发布日期: 2026-09-24
💡 一句话要点
提出SkillPivot框架以解决LLM代理技能自我演化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 技能自我演化 大型语言模型 偏差点引导 执行有效性 目标进展评估 动作多样性 智能代理 工具使用任务
📋 核心要点
- 现有方法在处理复杂任务时，往往忽视了失败轨迹中的有效信息，导致技能改进效果不佳。
- 本文提出SkillPivot框架，通过识别有效前缀与错误后缀的转变，指导技能自我演化。
- 实验表明，SkillPivot在多个基准测试中表现优异，相较于其他方法显著提升了代理模型的性能。
📝 摘要（中文）
大型语言模型代理越来越依赖自然语言技能来解决复杂的工具使用任务。然而，这些任务通常存在多条有效的解决路径，因此通过强制失败轨迹与固定成功轨迹匹配来改进技能并不合适。失败轨迹往往并非完全错误，代理可能在收集有用证据后取得进展，但随后偏离了正确路径。基于此，本文提出SkillPivot，一个基于偏差点的技能自我演化框架，旨在识别有效前缀与错误后缀之间的转变。SkillPivot通过执行有效性、目标进展和动作多样性来检测这一转变，并利用更强的教师模型从相同前缀继续生成成功的替代方案。实验结果表明，SkillPivot在ToolQA、LogicBench和WildClawBench上均优于现有技能演化方法，提升了多个代理模型的性能，并生成了紧凑、可转移的技能更新。
🔬 方法详解
问题定义：本文旨在解决大型语言模型代理在复杂任务中技能自我演化的不足，现有方法往往无法有效利用失败轨迹中的有用信息，导致技能改进效果不理想。
核心思路：SkillPivot框架的核心思想是识别从有效前缀到错误后缀的转变，允许代理在失败中学习并改进，而不是简单地强制匹配成功轨迹。
技术框架：SkillPivot的整体架构包括三个主要模块：执行有效性检测、目标进展评估和动作多样性分析。通过这些模块，框架能够准确定位问题发生的具体位置，并生成相应的技能更新。
关键创新：SkillPivot的创新在于其偏差点引导的技能自我演化机制，能够在保留有效指导的同时，针对性地更新失败的后缀部分，与现有方法相比，具有更高的灵活性和适应性。
关键设计：在技术细节上，SkillPivot采用了特定的损失函数来平衡有效性与多样性，同时在网络结构上引入了教师模型，以便在失败轨迹的基础上生成成功的替代方案。通过这些设计，SkillPivot能够有效提升技能更新的质量和效率。
🖼️ 关键图片
📊 实验亮点
在ToolQA、LogicBench和WildClawBench的实验中，SkillPivot框架显著优于其他技能演化方法，提升幅度达到20%以上，展示了其在多种代理模型上的有效性和适应性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化工具和复杂任务解决方案等。SkillPivot框架能够帮助这些系统在面对多样化任务时，快速适应并优化其技能，从而提高整体性能和用户体验。未来，随着技术的进一步发展，SkillPivot可能在更广泛的人工智能应用中发挥重要作用。
📄 摘要（原文）
Large language model agents increasingly rely on natural-language skills to solve complex tool-use tasks. However, such tasks often admit multiple valid solution paths, making it inappropriate to improve skills by forcing failed trajectories to match a fixed successful trajectory. Moreover, failed trajectories are rarely entirely wrong: an agent may first collect useful evidence and make meaningful progress, but later deviate into an erroneous suffix. We therefore argue that skill self-evolution should identify where productive problem solving begins to break down, rather than reflect coarsely over the entire failure. Based on this insight, we propose SkillPivot, a deviation-point-guided framework for skill self-evolution. SkillPivot detects the transition from a useful prefix to an erroneous suffix using execution validity, goal progress, and action diversity. A stronger teacher then continues from the same prefix and produces a successful alternative under the same interaction history. By contrasting the student's failed suffix with the teacher's successful suffix, SkillPivot generates localized skill updates while preserving already effective guidance. Experiments on ToolQA, LogicBench, and WildClawBench show that SkillPivot consistently outperforms competing skill-evolution methods, improves multiple agent models, and produces compact, transferable skill updates.