Understanding Reasoning from Pretraining to Post-Training

📄 arXiv: 2607.16097 📥 PDF

作者: Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-07-20

💡 一句话要点

提出棋类作为控制测试平台以研究预训练与后训练的推理关系

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 预训练 后训练 推理能力 棋类测试平台 实验研究

📋 核心要点

  1. 现有研究主要将强化学习后训练与预训练分开，导致难以理解两者之间的关系及影响。
  2. 本文通过棋类作为控制测试平台，系统地研究了预训练对后训练的影响，提出了一种新的研究框架。
  3. 实验结果表明，预训练损失可以有效预测后RL性能，且RL在不同难度的棋局中展现出不同的增强效果。

📝 摘要（中文）

强化学习（RL）在提升大型语言模型（LLMs）处理复杂推理任务中变得至关重要，但RL后训练与前期预训练之间的关系尚未得到充分研究。本文探讨了预训练选择（模型规模、数据）如何影响RL计算的回报，以及RL对模型的实际影响。通过使用棋类作为控制测试平台，研究者们发现后RL性能与预训练损失之间存在良好的预测关系，并且RL奖励曲线的斜率随着预训练标记的增加而线性改善。此外，RL不仅仅是对SFT策略的简单增强，而是在不同难度的棋局中展现出不同的效果。最后，研究结果在数学领域的文本训练中得到了验证，表明更长时间的预训练可以提高后RL性能。

🔬 方法详解

问题定义：本文旨在解决预训练与后训练之间的关系不明确的问题，现有方法未能有效探讨预训练选择对后续RL计算的影响。

核心思路：通过使用棋类作为控制测试平台，系统地研究预训练对后训练的影响，提供了一个可控的实验环境，以便更好地理解推理过程。

技术框架：研究遵循标准的LLM训练流程，首先在5M到1B参数的语言模型上进行预训练，接着在合成推理轨迹上进行监督微调，最后在棋局上进行RL训练。

关键创新：最重要的创新在于将棋类作为测试平台，系统地分析了预训练与后训练之间的关系，揭示了RL在不同难度棋局中的不同作用。

关键设计：在实验中，使用了不同规模的模型和预训练数据，损失函数设计为能够有效反映模型在推理任务中的表现，同时在RL阶段采用了可验证的奖励机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，后RL性能与预训练损失之间存在良好的预测关系，且RL奖励曲线的斜率随着预训练标记的增加而线性改善。此外，在数学领域的文本训练中，长时间预训练的检查点在后RL性能上也表现出显著提升，验证了研究的普适性。

🎯 应用场景

该研究为理解大型语言模型的推理能力提供了新的视角，潜在应用于教育、游戏AI、决策支持系统等领域。通过优化预训练和后训练的结合，未来可能提升模型在复杂任务中的表现，推动人工智能的进一步发展。

📄 摘要（原文）

Reinforcement learning (RL) has become central to improving large language models (LLMs) on complex reasoning tasks, yet RL post-training is largely studied in isolation from the pretraining that precedes it. As a result, two basic questions remain open: (1) how do pretraining choices (model size, data) shape the returns to RL compute, and (2) what does RL actually do to the model? These questions are difficult to study in the standard LLM setting: pretraining corpora are vast and uncontrolled, making it hard to attribute behaviors to pretraining versus RL, and systematic compute sweeps across both stages are prohibitively expensive. To address these challenges, we use chess as a controlled testbed for studying reasoning across the full pretraining-to-post-training pipeline. We follow the standard LLM training pipeline by pretraining language models from 5M to 1B parameters on human chess games, supervised fine-tuning on synthetic reasoning traces, and running RL on chess puzzles with verifiable rewards. Using this framework, we find that the post-RL performance at given RL compute level is well-predicted from the pretraining loss, and slope of the RL reward curves improves approximately linearly with the pretraining tokens. Beyond scaling, we find that RL does not simply sharpen the SFT policy: on easy puzzles it amplifies correct moves the SFT policy already preferred, while on hard puzzles it surfaces correct moves that were nearly absent under SFT. We further test whether our findings transfer beyond chess by training a 1B language model on math-domain text, where the same predictive pattern emerges: longer-pretrained checkpoints reach higher post-RL performance and improve faster under RL. In sum, we provide a quantitative account of the pretraining-to-RL interface and a controlled testbed for studying the science of reasoning across the full pretraining-to-post-training pipeline.