When Does Momentum Help in Reinforcement Learning with Verifiable Rewards?

📄 arXiv: 2610.20413v1 📥 PDF

作者: Kaifei Wang, Zikang Shan, Liwei Wang, Yinyu Ye, Han Zhong

分类: cs.LG, cs.AI, math.OC, stat.ML

发布日期: 2026-10-14

💡 一句话要点

提出动量方法以提升可验证奖励的强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 动量方法 可验证奖励 指数移动平均 策略优化 模型训练 实验验证

📋 核心要点

  1. 现有的强化学习方法在处理可验证奖励时，动量的有效性受到质疑，尤其是在梯度估计不准确的情况下。
  2. 本文提出了一种基于偏差校正的EMA动量的带子问题形式，研究如何通过调整EMA系数β来加速优化过程。
  3. 实验结果显示，在大型语言模型的后训练中，增大β系数能够显著提升模型的验证准确率，验证了理论预测的有效性。

📝 摘要（中文）

动量是加速凸优化的经典工具，也是现代大型语言模型训练的标准组成部分。然而，近期的实证研究质疑了在可验证奖励的强化学习（RLVR）中，第一动量动量的有效性。本文通过带偏差校正的指数移动平均（EMA）动量的带子问题形式研究这一问题，证明在精确评估策略梯度时，适当增加EMA系数β可以加速优化。实验结果表明，在Qwen3-4B-Base和Qwen2.5-32B模型上，选择较大的β系数显著提高了验证准确率，验证了该原则的有效性。

🔬 方法详解

问题定义：本文旨在解决在可验证奖励的强化学习中，动量方法的有效性问题。现有方法在梯度估计不准确时，可能导致优化效果不佳。

核心思路：论文提出通过带偏差校正的EMA动量来优化策略梯度，特别是通过调整EMA系数β来控制过去梯度权重的衰减速度，从而加速优化过程。

技术框架：整体架构包括两个主要阶段：首先是策略梯度的精确评估，其次是通过调整学习率和EMA系数β来优化策略。主要模块包括梯度估计、动量更新和策略优化。

关键创新：最重要的技术创新在于提出了在RLVR中使用EMA动量的带子问题形式，并证明了在特定范围内增加β系数能够严格加速优化，与传统方法相比具有更好的稳定性和收敛性。

关键设计：关键参数设置包括EMA系数β的选择，学习率η的调整，以及在不同模型上使用的优化算法（如SGD和AdamW）。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，在Qwen3-4B-Base模型上使用EMA和AdamW时，增大β系数能够将验证准确率提升近2个百分点，验证了该方法在大型模型上的有效性。

🎯 应用场景

该研究的潜在应用领域包括强化学习算法的优化，尤其是在需要可验证奖励的场景中，如机器人控制、游戏AI和自动驾驶等。通过改进动量方法，能够提升模型的学习效率和性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Momentum is a classical tool for accelerating convex optimization and a standard component of modern large language model training. Yet recent empirical work has questioned the usefulness of first-moment momentum in reinforcement learning with verifiable rewards (RLVR). We study this question through a bandit formulation of RLVR with bias-corrected exponential moving average (EMA) momentum, where the EMA coefficient $β$ controls how quickly the weights on past gradients decay. When policy gradients are evaluated exactly, we prove that increasing $β$ within a range that prevents overshoot strictly accelerates optimization. When gradients are estimated from sampled responses, a positive expected gain can be obscured by sampling fluctuations. We show that as the learning rate $η$ decreases, the expected gain with fixed $β$ vanishes faster than these fluctuations, whereas increasing $β$ to keep $η/(1-β)$ within the safe regime preserves a nonvanishing gain that eventually dominates them. Bandit simulations quantitatively validate these predictions. RLVR experiments on Qwen3-4B-Base using SGD with EMA and AdamW support our principle of choosing larger coefficients in practical LLM post-training. On Qwen2.5-32B with AdamW, simply increasing $β_1$ improves mean validation accuracy by nearly $2$ percentage points over the conventional choice, demonstrating the principle's effectiveness at a larger model scale.