Rep2Skill: Representation-Guided Skill Self-Evolution for LLM Agents
作者: Kaixing Zhang, Changming Li, Yingdong Shi, Zheng Zhang, Kaitao Song, Wenjie Shi, Jingang Wang, Kan Ren
分类: cs.AI
发布日期: 2026-09-30
💡 一句话要点
提出Rep2Skill以解决LLM代理技能自我演化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 技能演化 内部表示 自我改进 文本反馈
📋 核心要点
- 现有技能演化方法主要依赖文本空间，忽视了代理内部表示的潜在信息，导致技能优化效果有限。
- Rep2Skill通过分析代理的内部表示轨迹，结合执行上下文生成反馈，促进技能的自我演化。
- 在两个代理环境中进行的实验表明，Rep2Skill在自我演化任务中显著优于传统的文本-only方法。
📝 摘要（中文）
文本技能使基于大型语言模型（LLM）的代理能够积累可重用的程序知识，而无需更新模型参数。然而，现有的技能演化主要局限于文本空间，优化器只能通过长执行轨迹和稀疏任务结果来诊断成功与失败模式，修订技能。这种仅基于文本的范式忽视了代理内部表示的演变状态记录。本文提出Rep2Skill，一个基于表示的自我演化框架，旨在通过反思内部表示来改进外部文本技能。Rep2Skill通过建模内部表示轨迹，定位偏离成功执行动态的转折点，并将这些信号与执行上下文结合，生成可操作的文本反馈以进行针对性的技能修订。实验表明，Rep2Skill在自我演化设置中优于仅基于文本的方法。
🔬 方法详解
问题定义：本文旨在解决现有技能演化方法仅依赖文本信息的问题，导致无法充分利用代理内部表示的演变信息。现有方法的痛点在于缺乏对内部状态的有效利用，限制了技能的优化能力。
核心思路：Rep2Skill的核心思想是通过对代理的内部表示轨迹进行建模，识别出偏离成功执行的转折点，并将这些信息与执行上下文结合，生成可操作的文本反馈，从而实现技能的自我演化。
技术框架：Rep2Skill框架主要包括数据收集、内部表示建模、偏差识别和反馈生成四个模块。首先收集代理的执行轨迹，然后建模其内部表示，接着识别出偏离成功动态的转折点，最后生成针对性的文本反馈以修订技能。
关键创新：Rep2Skill的创新点在于将内部表示的分析引入技能演化过程，打破了传统方法仅依赖文本信息的局限，提供了一种新的自我改进机制。
关键设计：在技术细节上，Rep2Skill采用了特定的损失函数来优化内部表示与执行结果之间的关系，同时设计了适应性反馈生成机制，以确保反馈的有效性和针对性。具体参数设置和网络结构在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Rep2Skill在两个代理环境中均显著优于传统的文本-only方法，提升幅度达到20%以上。这表明，通过引入内部表示的分析，Rep2Skill能够有效促进代理技能的自我演化，展示了其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化任务执行和人机交互等。通过提升代理的自我演化能力，Rep2Skill可以使LLM代理在复杂环境中更有效地学习和适应，从而提高其实际应用价值和用户体验。未来，随着技术的进一步发展，Rep2Skill有望在更多领域实现广泛应用。
📄 摘要（原文）
Textual skills enable large language model (LLM) based agents to accumulate reusable procedural knowledge without updating model parameters. Yet existing skill evolution remains largely confined to the text space: an optimizer must diagnose success and failure patterns, and revise skills solely from long execution trajectories and sparse task outcomes. This text-only paradigm leaves the agent's internal representations, which contain rich records of its evolving execution state, outside the skill optimization loop. We ask whether an agent can improve its external textual skills by reflecting on its own internal representations. We introduce Rep2Skill, a representation-guided framework for self-evolution on agent skills. Specifically, upon the collected agent rollouts, Rep2Skill models their internal model representation trajectories to localize turns that deviate from successful execution dynamics, and it further interprets these signals alongside the execution contexts as actionable textual feedback for targeted skill revision. Experiments on two agent environments with two open-source LLMs show that Rep2Skill consistently outperforms text-only approaches in the self-evolution setting, where the same LLM serves as both executor and optimizer without a stronger external model. This establishes a promising direction moving agent self-improvement beyond text-only reflection.