UniSkill: Learning Actor-Aligned Skill Proposals for an Evolving Policy
作者: Yifei Lu, Cheng Liu, Dianzhi Yu, Hui Xiang, Ji Zhang, Yuanchu Xiao, Rong Liang
分类: cs.AI
发布日期: 2026-10-07
🔗 代码/项目: GITHUB
💡 一句话要点
提出UniSkill以解决技能提议与策略演化的协同问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 技能提议 策略演化 对比学习 共享策略 自动化任务执行
📋 核心要点
- 现有方法在技能提议与策略演化的协同优化中存在混淆技能收益与代理改进的问题，导致训练效率低下。
- UniSkill通过共享策略与环境交互，提出技能库编辑，利用对比动作反馈指导技能提议学习，避免了额外的回合开销。
- 实验结果显示，UniSkill在ALFWorld和WebShop上分别取得98.4%和84.7%的成功率，验证了其有效性和稳定性。
📝 摘要（中文）
大型语言模型代理可以通过保留从先前交互中提炼的可重用技能来改善任务执行。现有方法在任务执行和技能提取上进行联合优化，但随着代理的持续学习，奖励技能提议可能会混淆技能收益与代理改进之间的关系。本文提出UniSkill，利用共享策略与环境交互，并根据结果轨迹提出技能库编辑（添加、更新或不编辑）。具体而言，代理从环境奖励中学习，而对比动作反馈则指导技能提议学习。该反馈通过测量替换检索技能与提议技能对当前代理的动作日志似然差距的影响，提供了代理对齐信号，从而避免了每个提议的新回合。实验表明，UniSkill在ALFWorld上达到98.4%的成功率，在WebShop上达到84.7%，同时保持稳定的联合训练。
🔬 方法详解
问题定义：本文旨在解决在策略演化过程中，技能提议与代理改进之间的混淆问题。现有方法在奖励技能提议时，可能会将技能收益与代理的学习进展混为一谈，导致评估不准确。
核心思路：UniSkill的核心思路是通过共享策略与环境交互，提出技能库的编辑操作，并利用对比动作反馈来指导技能提议的学习。这种设计避免了为每个提议进行额外的回合，从而提高了训练效率。
技术框架：UniSkill的整体架构包括三个主要模块：共享策略模块、技能提议模块和对比反馈模块。共享策略模块负责与环境交互，技能提议模块根据交互结果提出编辑建议，而对比反馈模块则提供代理与提议技能之间的对比信号。
关键创新：UniSkill的主要创新在于引入了对比动作反馈机制，通过测量提议技能对代理动作日志似然的影响，提供了代理对齐信号。这一机制与现有方法的本质区别在于，它避免了每个技能提议都需要进行新回合的评估。
关键设计：在设计上，UniSkill采用了技能编辑支持正则化，以防止在提议内容评分不佳时抑制适当的编辑操作。此外，损失函数的设计也考虑了对比反馈的引入，以确保技能提议的有效性。具体的网络结构和参数设置在实现中进行了详细说明。
🖼️ 关键图片
📊 实验亮点
UniSkill在ALFWorld上取得了98.4%的成功率，在WebShop上达到了84.7%的成功率，显示出其在技能提议与策略演化中的强大性能。这些结果相较于基线方法有显著提升，验证了其有效性和稳定性。
🎯 应用场景
UniSkill的研究成果在多个领域具有潜在应用价值，尤其是在机器人学习、自动化任务执行和智能代理系统中。通过有效的技能提议与优化，UniSkill能够提升智能体在复杂环境中的适应能力和任务执行效率，推动自主学习技术的发展。
📄 摘要（原文）
Large language model agents can improve across tasks by retaining reusable skills distilled from prior interactions. Recent work jointly optimizes task execution and skill extraction, enabling the policy and skillbank to co-evolve. However, as the actor continues learning, rewarding skill proposals through their reuse in subsequent training steps may conflate skill benefits with actor improvement, while directly testing each proposed skill requires costly additional actor rollouts. In this paper, we introduce UniSkill, which uses a shared policy to interact with the environment and propose skillbank edits (Add, Update, or No Edit) from the resulting trajectories. Specifically, the actor learns from environment rewards, while contrastive action feedback guides skill proposal learning. This feedback provides an actor-alignment signal by measuring how replacing the retrieved skill with a proposed skill changes the current actor's action log-likelihood gap between previously collected successful and failed trajectories from the same task, thereby avoiding new rollouts for each proposal. Since proposal-level feedback may suppress an otherwise appropriate edit operation when the proposed skill content scores poorly, we further apply skill-edit support regularization to preserve exploration. Empirically, UniSkill achieves strong performance, reaching 98.4% success on ALFWorld and 84.7% on WebShop while maintaining stable joint training. Further ALFWorld experiments show that UniSkill remains effective when the shared policy uses a smaller backbone. Our implementation is available at https://github.com/LimOkii/UniSKill.