SkillScaffold: Scaffolding Agentic Reinforcement Learning with Policy-Adaptive Skill Credit Assignment and Selective Injection

📄 arXiv: 2610.18807v1 📥 PDF

作者: Wenlin Zhong, Hao Wang, Kun Yuan, Fan Yang, Jinluan Yang, Dian Jin, Xu Tan, Yiquan Wu, Kun Kuang

分类: cs.LG, cs.CL

发布日期: 2026-10-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出SkillScaffold以解决技能注入不稳定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代理强化学习 技能注入 政策自适应 多轮交互 学习效率

📋 核心要点

  1. 现有的技能注入方法在效用评估上依赖高开销的回合评估，且在有限采样下表现不稳定。
  2. SkillScaffold通过政策自适应的方式，结合低成本的技能效用估计与选择性技能注入，优化了技能的使用。
  3. 在多个基准测试中，SkillScaffold在短期和长期任务上均显著提升了性能，验证了其有效性。

📝 摘要（中文）

代理强化学习（RL）使大型语言模型（LLMs）能够通过可验证结果进行多轮交互学习。文本技能可以通过提炼先前交互为可重用的指导来改善探索。然而，现有的基于技能的RL方法通常假设技能注入是有益的，或依赖间接反馈或高开销的评估来评估其效用。我们的初步研究表明，基于回合的效用估计在有限采样下成本高且不稳定，而技能的效益因候选者而异，并依赖于当前策略在每个查询上的能力。为了解决这些挑战，我们提出了SkillScaffold，这是一种政策自适应的训练支架，结合了低成本的技能效用估计和选择性技能注入。通过重用结果验证的训练轨迹，SkillScaffold生成候选技能并通过结果感知的可能性比较来估计其效用，而无需候选特定的环境回合。实验结果表明，在ALFWorld、WebShop、ScienceWorld和$τ^2$-Bench上，SkillScaffold在短期和长期任务中均优于强大的代理RL和基于技能的RL基线。

🔬 方法详解

问题定义：本论文旨在解决现有技能注入方法在效用评估上的不稳定性和高成本问题。现有方法往往假设技能注入总是有益，缺乏有效的评估机制。

核心思路：SkillScaffold的核心思路是通过政策自适应的训练框架，结合低成本的技能效用估计和选择性技能注入，来优化技能的使用和提升学习效率。

技术框架：SkillScaffold的整体架构包括生成器和执行器两个主要模块。生成器负责生成候选技能，而执行器则根据当前策略的能力选择是否注入这些技能。通过重用结果验证的训练轨迹，系统能够进行有效的技能效用估计。

关键创新：SkillScaffold的创新之处在于其政策自适应的技能注入机制，通过结果感知的可能性比较来评估技能效用，避免了高开销的环境回合评估。这一方法与传统技能注入方法的本质区别在于其高效性和灵活性。

关键设计：在设计上，SkillScaffold使用了低成本的技能效用估计方法，并通过选择性注入策略来决定是否使用候选技能。此外，系统在训练过程中保持了技能自由执行的能力，以应对无效技能的情况。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SkillScaffold在ALFWorld、WebShop、ScienceWorld和$τ^2$-Bench等基准测试中，相较于强大的代理RL和基于技能的RL基线，性能提升显著，尤其在长短期任务中均表现出色，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和复杂任务的决策支持系统。SkillScaffold能够提高系统在多轮交互中的学习效率和适应性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Agentic reinforcement learning (RL) enables large language models (LLMs) to learn from multi-turn interactions with verifiable outcomes. Textual skills can improve exploration by distilling prior interactions into reusable guidance. However, existing skill-based RL approaches often either assume skill injection is beneficial or rely on indirect feedback or rollout-intensive evaluation to assess its utility. Our pilot studies show that rollout-based utility estimation for skill credit assignment is costly and unstable under limited sampling, while skill benefits vary across candidates and depend on the current policy's competence on each query. To address these challenges, we introduce SkillScaffold, a policy-adaptive training scaffold that combines low-cost skill-utility estimation with selective skill injection. By reusing outcome-verified training trajectories, SkillScaffold generates candidate skills and estimates their utility through outcome-aware likelihood comparisons, without candidate-specific environment rollouts. The resulting utility guides whether and which skill to inject, retaining skill-free execution when no candidate is estimated to help. Joint training enables the Generator to produce skills tailored to the evolving Executor. Scaffolded RL encourages skill internalization for skill-free inference. Experiments on ALFWorld, WebShop, ScienceWorld, and $τ^2$-Bench demonstrate gains over strong agentic-RL and skill-based RL baselines across both short- and long-horizon tasks. Ablations and further analyses support the importance of utility-based selection and abstention. Our code is available at https://github.com/Vaidurya00/SkillScaffold.