Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL

📄 arXiv: 2609.37898v1 📥 PDF

作者: Youling Huang, Tiankuo Xu, Jiaji Liu, Tong Zheng, Shuo Zhou, Shaotong Qi, Junchi Yao, Shiyang Liu, Hao Xu, Pengcheng Xu, Bo Huang, Hongyi Fu, Lin Lin

分类: cs.AI

发布日期: 2026-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出Gap-Adaptive Teacher Scheduling以解决稀疏奖励强化学习中的冷启动问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 稀疏奖励 教师指导 在线策略蒸馏 动态调整 长时间跨度 冷启动问题

📋 核心要点

  1. 现有的强化学习方法在处理长时间跨度任务时，常常面临稀疏奖励导致的冷启动问题，影响学习效果。
  2. 本文提出Gap-Adaptive Teacher Scheduling（GATS），通过动态调整教师指导的权重，适应教师与学生的表现差距。
  3. 在ALFWorld、WebShop和ScienceWorld等环境中，GATS在三种Qwen2.5教师-学生配置下均实现了最高的平均成功率，提升幅度达4.37%-11.87%。

📝 摘要（中文）

长时间跨度的强化学习通常依赖于稀疏的基于结果的奖励，这导致了严重的冷启动问题，早期策略往往无法解决采样任务，留下很少有用的奖励信号。为了解决这一问题，本文采用了在线策略蒸馏（OPD）为学生的自我回合提供标记级指导。研究发现，这种指导的效果依赖于教师与学生之间的表现差距。教师显著优于学生时，蒸馏有助于指导学生度过早期训练阶段；而当差距缩小并最终反转时，持续的蒸馏则可能阻碍进一步的改进。基于此观察，本文提出了Gap-Adaptive Teacher Scheduling（GATS），通过调整OPD项的权重来适应教师与学生的表现差距，从而优化学生的强化学习目标。

🔬 方法详解

问题定义：本文旨在解决长时间跨度强化学习中的冷启动问题，现有方法在早期阶段缺乏有效的奖励信号，导致学习效率低下。

核心思路：提出Gap-Adaptive Teacher Scheduling（GATS），通过在线策略蒸馏（OPD）为学生提供动态调整的教师指导，帮助学生在早期训练阶段获得有效的学习信号。

技术框架：GATS的整体架构包括教师和学生模型，教师模型在早期提供指导，随着学生性能的提升，逐步减少指导的强度，最终在学生达到教师性能时撤回指导。

关键创新：GATS的创新在于根据教师与学生的表现差距动态调整指导权重，解决了传统方法中教师指导过度或不足的问题，提升了学习效率。

关键设计：在GATS中，OPD项的权重根据教师与学生的性能差距进行调整，确保在学生接近教师性能时逐步减少教师的指导，从而优化学习过程。具体的损失函数和网络结构设计也进行了相应的调整，以适应这一动态变化。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，GATS在ALFWorld、WebShop和ScienceWorld环境中，均实现了最高的平均成功率，相较于仅依赖奖励的GRPO方法，提升幅度达4.37%-11.87%。这一结果验证了GATS在稀疏奖励环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要长时间决策的任务。通过有效的教师指导，GATS能够加速学习过程，提高智能体在复杂环境中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning for long-horizon agents typically relies on sparse outcome-based rewards. This leads to a severe cold-start problem, as early-stage policies often fail to solve sampled tasks, leaving little useful reward signal for learning. To mitigate this problem, we use on-policy distillation (OPD) to provide token-level guidance on the student's own rollouts. We find that the benefit of this guidance depends on the performance gap between the teacher and the student. When the teacher substantially outperforms the student, distillation helps guide the student through the early training stage where outcome rewards provide little learning signal. As the gap narrows and eventually reverses, however, continued distillation becomes less beneficial and may hinder further improvement. Motivated by this observation, we propose Gap-Adaptive Teacher Scheduling (GATS), which augments the student's RL objective with an OPD term whose weight adapts to the teacher-student performance gap. Specifically, GATS gradually reduces teacher guidance as the student approaches the teacher's reference performance and withdraws it once that reference is reached. This enables GATS to leverage task-trained teachers smaller than the student, since teacher guidance is primarily needed during early training. Across ALFWorld, WebShop, and ScienceWorld with three Qwen2.5 teacher-student configurations, GATS achieves the highest average success rate among the compared methods in all three configurations, improving over reward-only GRPO by 4.37%-11.87% under matched student rollout budgets. Code is available at https://github.com/Ricardo-H/guide-then-let-go.