Predictive Bandit Curriculum Reinforcement Learning via Gradient-Based Sample Group Discovery

📄 arXiv: 2610.25704v1 📥 PDF

作者: Liang Xu, Shufan Shen, Zhongni Hou, Chao Bi, Yufei Zhang, Wei Lin, Guojun Yin, Shuhui Wang

分类: cs.LG

发布日期: 2026-10-19

💡 一句话要点

提出预测性带式课程强化学习以提升训练效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 课程学习 强化学习 样本优化 梯度聚类 效用预测 Boltzmann采样 数据分配 训练效率

📋 核心要点

  1. 现有课程学习方法依赖于预定义的数据属性，未能有效预测样本效用随策略变化的动态性。
  2. 本文提出的PGB课程通过聚类样本级梯度发现优化感知单元，并利用时间预测器进行效用预测。
  3. 实验结果显示，PGB在多个基准测试中显著优于传统方法，提升了数据利用率和训练效率。

📝 摘要（中文）

课程学习通过根据学习优先级组织训练样本，已被广泛应用于强化学习以提高训练效率。然而，现有方法通常使用预定义的数据属性构建课程单元，并通过简单聚合最近训练历史的单一代理信号来估计其效用。这种设计可能会将具有不同优化效果的样本分组，并未能预测其效用如何随策略演变。本文提出了预测性基于梯度的带式课程（PGB），首先通过聚类投影样本级梯度发现优化感知学习单元。然后，PGB采用轻量级时间预测器预测每个单元的未来效用，并将预测结果转化为自适应数据分配的Boltzmann采样分布。实验结果表明，PGB在多个模型规模和推理基准上均优于标准GRPO、基于难度的课程和基于历史的调度策略，显示出数据利用率和训练效率的提升。

🔬 方法详解

问题定义：本文旨在解决现有课程学习方法在样本分组和效用预测上的不足，尤其是未能有效应对样本优化效果的动态变化。

核心思路：提出的PGB课程通过聚类样本级梯度来发现优化感知学习单元，并使用轻量级时间预测器来预测这些单元的未来效用，从而实现更有效的自适应数据分配。

技术框架：PGB的整体架构包括样本级梯度聚类、效用预测和Boltzmann采样三个主要模块。首先，通过聚类分析识别出优化感知单元；接着，利用时间预测器对每个单元的效用进行预测；最后，根据预测结果进行自适应的数据分配。

关键创新：PGB的主要创新在于通过样本级梯度聚类发现优化感知单元，并结合时间预测器进行效用预测，这一方法与传统的基于历史或难度的课程设计有本质区别。

关键设计：在设计中，采用了轻量级的时间预测器，确保了预测过程的高效性；同时，Boltzmann采样策略的引入使得数据分配更加灵活，能够适应不同的训练阶段。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PGB在多个模型规模和推理基准上均优于标准GRPO、基于难度的课程和基于历史的调度策略，具体提升幅度达到XX%，显示出显著的数据利用率和训练效率的改善。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体训练以及其他需要高效学习的强化学习任务。通过优化样本的使用，PGB课程能够显著提升训练效率，降低训练时间，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Curriculum learning, which organizes training samples according to their learning priority, has been widely adopted in reinforcement learning to improve training efficiency. However, existing methods commonly construct curriculum units using predefined data properties and estimate their utility by simply aggregating a single proxy signal from recent training history.Such designs may group samples with different optimization effects and fail to anticipate how their utility evolves in relation to the policy. We propose Predictive Gradient-based Bandit (PGB) Curriculum, which first discovers optimization-aware learning units by clustering projected sample-level gradients. PGB then employs a lightweight temporal predictor to forecast the future utility of each unit and converts the predictions into a Boltzmann sampling distribution for adaptive data allocation. Experiments across multiple model scales and reasoning benchmarks show that PGB consistently outperforms standard GRPO, difficulty-based curricula, and history-based scheduling strategies, demonstrating improved data utilization and training efficiency.