Does Scaling Reinforcement Learning Really Require More Training?

📄 arXiv: 2610.01133v1 📥 PDF

作者: Bangji Yang, Jiajun Fan, Hongba Ma, Ruihan Guo, Ge Liu

分类: cs.LG, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出SURGE方法以优化强化学习训练资源利用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 策略空间扩展 SURGE 计算效率 模型优化 多检查点融合 推理性能提升

📋 核心要点

  1. 现有的强化学习方法在扩展推理时通常需要更多的计算资源，导致效率低下。
  2. 本文提出SURGE方法，通过结合同一训练过程中的多个检查点，优化策略生成过程。
  3. 在实验中，SURGE在多个基准测试中实现了超过原检查点的准确率，同时减少了推理所需的计算资源。

📝 摘要（中文）

在强化学习（RL）中，扩展推理通常需要更多的计算资源。本文展示了完整的RL训练历史可以生成比优化器访问的检查点更强的策略。我们称之为策略空间扩展：在不增加训练或每次查询推理计算的情况下，扩展可部署策略集。我们提出SURGE（通过特征空间融合扩展无梯度RL），结合同一RL运行中的两个检查点：一个高精度锚点和一个生成较短响应的竞争捐赠者。SURGE通过保留锚点更新的主成分并结合捐赠者的互补成分来实现策略的优化。实验结果表明，SURGE在多个基准测试中超越了输入检查点的平均准确率，展示了RL历史作为可重用扩展资源的潜力。

🔬 方法详解

问题定义：本文旨在解决在强化学习中扩展推理时对计算资源的高需求问题。现有方法往往依赖于单一检查点，限制了策略的多样性和性能。

核心思路：SURGE方法通过结合同一训练过程中的高精度锚点和生成较短响应的捐赠者，扩展可用策略集。该方法不需要额外的训练或推理计算，从而提高了效率。

技术框架：SURGE的整体架构包括两个主要模块：首先是从训练历史中提取锚点和捐赠者的检查点；其次是通过谱分解技术对锚点的更新进行处理，以保留其主成分并结合捐赠者的互补成分。

关键创新：SURGE的主要创新在于其策略空间扩展能力，允许从固定的RL历史中生成更强的策略，而无需进行额外的训练。这一方法与传统的单一检查点策略生成方法有本质区别。

关键设计：SURGE在设计中采用了固定目标来决定保留锚点更新的比例，并通过权重确定块大小，而无需测试候选策略。这种设计使得方法在计算上更加高效。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，SURGE在DeepSeek AIME24基准测试中达到了54.17%的准确率，超过了原检查点的50.83%；在OLMo HumanEval+测试中，SURGE达到了83.7%，超越了82.8%的基线。这些结果表明SURGE在减少推理计算的同时显著提升了性能。

🎯 应用场景

SURGE方法在强化学习领域具有广泛的应用潜力，尤其是在需要高效推理的场景，如自动驾驶、机器人控制和智能决策系统。通过优化策略生成过程，SURGE能够在资源有限的情况下提升系统性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Scaling reasoning typically spends more compute on reinforcement learning (RL) or on inference. We show that a completed RL training history can yield policies stronger than the checkpoints visited by its optimizer. We call this policy-space scaling: expanding the deployable policy set accessible from a fixed RL history, without extending training or increasing per-query inference computation. We instantiate it with SURGE (Scaling Up RL Gradient-free via Eigenspace fusion). SURGE combines two checkpoints from the same RL run: a high-accuracy anchor and a competitive donor that generates shorter responses. It expresses both checkpoints as changes from their shared initialization, then spectrally decomposes the anchor's update to retain its dominant component and incorporate the donor's complementary component. With a fixed target for how much of the anchor update to retain, SURGE determines the block size from the weights without testing candidate policies. We evaluate two 1.5B mathematical-reasoning histories, DeepSeek and Nemotron, and one 7B coding history, OLMo. SURGE improves benchmark-average accuracy over both input checkpoints while using fewer reasoning tokens than the anchor. It reaches 54.17% on DeepSeek AIME24 against a measured native maximum of 50.83%, and 83.7% on OLMo HumanEval+ against 82.8%. These gains exceed the observed training curves. Geometric controls support the importance of RL-update structure beyond weight displacement or token reduction alone. Each constructed model runs as a single policy. Our findings identify stored RL history as a reusable scaling resource: the capability available from a training run need not end at its best checkpoint.