Prioritized Replay for RL Post-training
作者: Mehdi Fatemi
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-01-06
💡 一句话要点
提出一种基于问题优先级的强化学习后训练框架，提升大型语言模型在强化学习任务中的性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 后训练 优先级回放 大型语言模型 课程学习
📋 核心要点
- 现有强化学习后训练方法依赖手动设计的课程，缺乏自适应性，难以有效利用数据。
- 提出一种基于问题成功率的优先级排序方法，自动聚焦于既非完全成功也非完全失败的问题，提升学习效率。
- 引入堆结构的优先级采样和定期重测机制，缓解数据“饥饿”和遗忘问题，保证训练效果。
📝 摘要（中文）
本文提出了一种针对大型语言模型强化学习后训练的问题级优先级框架。该方法借鉴了深度强化学习中的优先级回放机制，以及GRPO等方法中中间成功率的rollout往往产生更强学习信号的观察结果，根据从经验成功统计中得出的简单、模型驱动的优先级分数来选择问题。与强调早期训练中较容易任务的传统课程学习策略不同，由此产生的训练计划自然地将重点放在既不能始终解决也不能始终失败的问题上，同时降低那些贡献较少梯度信息的问题的优先级。该方法提供了一种连续适应和自动化的优先级排序过程，无需预定义的难度等级、辅助预测器或外部标签。此外，我们还引入了用于实际部署的轻量级机制，包括基于堆的优先级采样和对已解决和未解决问题的定期重新测试，以减轻“饥饿”和遗忘。总体而言，该方法为手动设计的课程提供了一种原则性和可扩展的替代方案，同时将数据选择直接与基于GRPO的后训练的动态对齐。
🔬 方法详解
问题定义：现有强化学习后训练方法，特别是应用于大型语言模型时，通常依赖于手动设计的课程。这些课程往往是静态的，难以适应模型在训练过程中的动态变化。此外，手动设计课程需要大量的人工干预和领域知识，成本较高，且难以扩展到新的任务和数据集。现有方法无法有效区分不同问题的价值，导致训练资源浪费在容易或过于困难的问题上。
核心思路：本文的核心思路是借鉴深度强化学习中的优先级回放机制，根据问题解决的难易程度动态调整训练数据的优先级。具体来说，该方法根据模型在每个问题上的经验成功统计信息，计算一个优先级分数。该分数越高，表示该问题对模型的学习更有价值，应该被优先选择进行训练。这种方法能够自动聚焦于那些既非完全成功也非完全失败的问题，从而最大化训练效率。
技术框架：该方法主要包含以下几个模块：1) 问题优先级计算模块：该模块根据模型在每个问题上的成功率，计算一个优先级分数。具体来说，该分数可以简单地定义为成功率与失败率的乘积，即P(success) * P(failure)。2) 优先级采样模块：该模块根据问题的优先级分数，从问题集中选择一批问题进行训练。本文采用基于堆的优先级采样方法，能够高效地选择优先级最高的问题。3) 重测模块：该模块定期对已解决和未解决的问题进行重新测试，以更新问题的优先级分数，并缓解数据“饥饿”和遗忘问题。4) GRPO后训练模块：使用GRPO（Generalized Policy Optimization）算法对大型语言模型进行后训练，利用优先级采样模块选择的数据进行梯度更新。
关键创新：该方法最重要的技术创新点在于提出了一种问题级的优先级排序框架，能够自动地根据问题的难易程度调整训练数据的优先级。与传统的课程学习方法相比，该方法无需手动设计课程，能够更好地适应模型在训练过程中的动态变化。此外，该方法还引入了基于堆的优先级采样和定期重测机制，进一步提升了训练效率和稳定性。
关键设计：1) 优先级分数计算：优先级分数定义为成功率与失败率的乘积，简单有效。2) 基于堆的优先级采样：使用堆数据结构来维护问题的优先级队列，能够高效地选择优先级最高的问题。3) 定期重测：定期对已解决和未解决的问题进行重新测试，以更新问题的优先级分数，并缓解数据“饥饿”和遗忘问题。重测的频率和样本数量需要根据具体任务进行调整。4) GRPO算法：选择GRPO作为后训练算法，因为它在强化学习任务中表现良好，并且与优先级采样框架兼容。
🖼️ 关键图片
📊 实验亮点
论文提出的优先级回放方法在强化学习后训练中表现出色，能够自动聚焦于有价值的问题，提升模型性能。具体实验数据未知，但摘要强调该方法能够有效缓解数据“饥饿”和遗忘问题，并提供了一种原则性和可扩展的替代方案，优于手动设计的课程。
🎯 应用场景
该研究成果可广泛应用于需要强化学习后训练的大型语言模型，例如对话系统、文本生成、代码生成等领域。通过自动化的优先级排序，可以显著提升模型的学习效率和性能，降低人工干预成本。该方法还有潜力应用于其他机器学习任务，例如主动学习和数据挖掘。
📄 摘要（原文）
We introduce a problem-level prioritization framework for RL post-training of large language models. Building on insights from prioritized replay in deep RL, as well as prior observations that rollouts with intermediate success rates tend to produce stronger learning signals under methods such as GRPO, our approach selects problems according to a simple, model-driven priority score derived from empirical success statistics. In contrast to conventional curriculum strategies that emphasize easier tasks early in training, the resulting schedule naturally focuses training on problems that are neither consistently solved nor consistently failed, while deprioritizing those that contribute little gradient information. The method yields a continuously adapting and automatic prioritization process that requires no predefined difficulty tiers, auxiliary predictors, or external labels. We further introduce lightweight mechanisms for practical deployment, including heap-based prioritized sampling and periodic retesting of solved and unsolved problems to mitigate starvation and forgetting. Overall, the approach offers a principled and scalable alternative to manually designed curricula while aligning data selection directly with the dynamics of GRPO-based post-training.