SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving
作者: Zhilong Ge, Yuting Shao, Yutao Yang, Yuxuan Cai, Jie Zhou, Kai Chen, Bo Zhang, Qin Chen, Liang He
分类: cs.CL
发布日期: 2026-09-23
💡 一句话要点
提出SkillGym框架以将人类技能内化为大语言模型的能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 人类技能 技能内化 训练环境 强化学习 监督微调 任务实例化 模型能力
📋 核心要点
- 现有方法通常将人类技能作为外部指令使用，缺乏内化为模型能力的机制，限制了模型的实际应用。
- SkillGym框架通过将人类技能转化为可执行的训练环境，提供了一个系统化的技能到任务的转化流程，增强了模型的学习能力。
- 实验表明，经过SkillGym微调的模型在多个基准测试中均表现出显著提升，展示了其在技能辅助任务中的有效性。
📝 摘要（中文）
人类编写的代理技能编码了丰富的现实问题解决工作流程，但通常作为外部推理时的指令使用，而非内化为可重用的模型能力。我们提出了SkillGym框架，将这些技能转化为可执行、可验证的训练环境，支持大语言模型代理的训练。该框架的技能到任务管道实例化具体任务，通过基于代码的检查器验证结果，并通过对比执行评估经验技能依赖。我们构建并发布了2756个环境，收集了8364条成功轨迹，支持基于验证工作流的监督微调和基于结果的强化学习。实验结果显示，经过微调的模型在多个基准测试中显著提升了性能。
🔬 方法详解
问题定义：本论文旨在解决现有大语言模型在处理现实问题时对人类技能的依赖不足，现有方法将技能视为外部指令，缺乏内化能力，导致模型在复杂任务中的表现受限。
核心思路：SkillGym框架的核心思路是将人类技能转化为可执行的训练环境，使得大语言模型能够在内部学习和重用这些技能，从而提升其解决实际问题的能力。
技术框架：SkillGym的整体架构包括技能到任务的管道，具体包括任务实例化、结果验证和经验技能依赖评估三个主要模块。首先，系统实例化具体任务；其次，通过代码检查器验证任务结果；最后，通过对比执行评估模型的技能依赖。
关键创新：本研究的关键创新在于将人类技能内化为模型的可重用能力，而非仅作为外部指令使用。这一设计使得模型能够在多种任务中灵活应用技能，显著提升了其适应性和效率。
关键设计：在技术细节上，SkillGym构建了2756个环境，收集了8364条成功轨迹，平均涉及49次工具调用和超过6万个文本标记。这些资源支持监督微调和基于结果的强化学习，优化了模型的学习过程。
🖼️ 关键图片
📊 实验亮点
在实验中，经过SkillGym微调的模型在多个基准测试中表现优异，Qwen3.5-35B-A3B在GDPval-AA v2上提升了199 Elo，在Terminal-Bench 2.1上提升了19.10个百分点，在SkillsBench v1.1上分别提升了28.13和12.38点。这些结果表明SkillGym显著增强了模型的技能应用能力。
🎯 应用场景
SkillGym框架具有广泛的应用潜力，特别是在需要复杂决策和多步骤推理的领域，如自动化客服、智能助手和机器人控制等。通过内化人类技能，模型能够更有效地处理现实世界中的问题，提升用户体验和工作效率。未来，该框架可能推动更多智能系统的开发，使其在复杂任务中表现得更加出色。
📄 摘要（原文）
Human-written agent skills encode rich workflows for real-world problem solving, but are typically used as external inference-time instructions rather than internalized as reusable model capabilities. We introduce \texttt{SkillGym}, a framework that transforms these skills into executable, verifiable training environments for large language model agents. Its skill-to-task pipeline instantiates concrete tasks, verifies outcomes with code-based checkers, and assesses empirical skill dependence through contrastive executions. We construct and release 2,756 environments across 12 categories and collect 8,364 successful trajectories from multiple models and harnesses, averaging 49 tool calls and over 60k logged text tokens. These resources support supervised fine-tuning on verified workflows and reinforcement learning with outcome-based rewards. Under Claude Code, supervised fine-tuning improves Qwen3.5-35B-A3B by 199 Elo on GDPval-AA v2, 19.10 percentage points on Terminal-Bench 2.1, and 28.13 and 12.38 points on SkillsBench v1.1 with and without skills, respectively. Our 35B \texttt{SkillGym-Agent} reaches 51.47\% on skill-assisted SkillsBench, exceeding reported scores for Claude Sonnet 4.6, GPT-5.4 Mini, and DeepSeek V4 Pro. Without skills, it also surpasses skill-assisted bases under Codex and Claude Code, suggesting reusable procedural competence.