T1: Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling

📄 arXiv: 2501.11651v2 📥 PDF

作者: Zhenyu Hou, Xin Lv, Rui Lu, Jiajie Zhang, Yujiang Li, Zijun Yao, Juanzi Li, Jie Tang, Yuxiao Dong

分类: cs.LG, cs.CL

发布日期: 2025-01-20 (更新: 2025-06-13)

备注: Accepted to ICML 2025

💡 一句话要点

T1：通过强化学习和推理扩展提升语言模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 推理扩展 思维链 数学推理

📋 核心要点

  1. 现有大型语言模型推理主要依赖模仿学习，测试时扩展性不足，难以充分利用模型潜力。
  2. T1通过强化学习鼓励探索，并结合试错和自我验证的思维链数据初始化模型，提升推理能力。
  3. 实验表明，T1在数学推理基准测试中表现出色，且增加推理预算可直接提升性能，无需额外验证。

📝 摘要（中文）

大型语言模型（LLMs）在复杂的推理任务中表现出了卓越的能力。然而，现有的方法主要依赖于模仿学习，难以实现有效的测试时扩展。强化学习（RL）有望实现自我探索，但最近的尝试在复杂推理方面仅取得了适度的改进。本文提出了T1，通过鼓励探索和理解推理扩展来扩展强化学习。我们首先使用综合的思维链数据初始化LLM，该数据集成了试错和自我验证。为了扩展RL训练，我们通过过采样来提高采样多样性。我们证明了以开放LLM为基础的T1表现出推理扩展行为，并在具有挑战性的数学推理基准测试中实现了卓越的性能。更重要的是，我们提出了一种简单的策略来检查推理扩展，即增加推理预算可以直接提高T1的性能，而无需任何额外的验证。

🔬 方法详解

问题定义：现有的大型语言模型在复杂推理任务中表现出潜力，但主要依赖于模仿学习，这限制了它们在测试时进行有效扩展的能力。强化学习虽然有潜力通过自我探索来提升性能，但之前的尝试在复杂推理任务上提升有限。因此，如何有效地利用强化学习来提升大型语言模型的推理能力，并实现更好的推理扩展性是一个关键问题。

核心思路：T1的核心思路是通过强化学习鼓励模型进行探索，并结合高质量的思维链数据来初始化模型。具体来说，T1使用包含试错和自我验证的合成思维链数据来预训练模型，从而使其具备初步的推理能力。然后，通过强化学习，模型可以进一步探索更有效的推理路径，并根据环境反馈进行自我优化。此外，T1还通过过采样来提高采样多样性，从而促进更有效的强化学习训练。

技术框架：T1的整体框架包括以下几个主要阶段：1) 使用合成的思维链数据初始化大型语言模型；2) 使用强化学习对模型进行微调，鼓励模型进行探索；3) 通过过采样来提高强化学习训练的采样多样性；4) 在推理阶段，通过增加推理预算来提升模型性能。该框架旨在通过结合模仿学习和强化学习的优势，实现更好的推理性能和扩展性。

关键创新：T1的关键创新在于以下几个方面：1) 提出了一种新的强化学习训练方法，通过鼓励探索和提高采样多样性来提升模型性能；2) 使用包含试错和自我验证的合成思维链数据来初始化模型，从而使其具备更强的推理能力；3) 提出了一种简单的策略来检查推理扩展，即增加推理预算可以直接提高模型性能，而无需任何额外的验证。与现有方法相比，T1能够更有效地利用强化学习来提升大型语言模型的推理能力，并实现更好的推理扩展性。

关键设计：T1的关键设计包括：1) 合成思维链数据的生成方式，需要保证数据的质量和多样性；2) 强化学习的奖励函数设计，需要能够有效地引导模型进行探索；3) 过采样的比例设置，需要在提高采样多样性和避免过度拟合之间进行权衡；4) 推理预算的设置，需要在性能提升和计算成本之间进行权衡。具体的参数设置和网络结构等技术细节在论文中进行了详细描述。

🖼️ 关键图片

img_0

📊 实验亮点

T1在具有挑战性的数学推理基准测试中取得了卓越的性能，证明了其有效性。实验结果表明，T1能够显著提升大型语言模型的推理能力，并且表现出良好的推理扩展性。更重要的是，T1提出了一种简单的策略来检查推理扩展，即增加推理预算可以直接提高模型性能，而无需任何额外的验证。这些实验结果表明，T1是一种有前景的提升大型语言模型推理能力的方法。

🎯 应用场景

T1的研究成果可以应用于各种需要复杂推理能力的场景，例如数学问题求解、科学研究、智能问答等。通过提升语言模型的推理能力和扩展性，T1可以帮助人们更有效地解决复杂问题，提高工作效率，并促进相关领域的发展。未来，T1还可以与其他技术相结合，例如知识图谱、符号推理等，以进一步提升其推理能力和应用范围。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable capabilities in complex reasoning tasks. However, existing approaches mainly rely on imitation learning and struggle to achieve effective test-time scaling. While reinforcement learning (RL) holds promise for enabling self-exploration, recent attempts yield modest improvements in complex reasoning. In this paper, we present T1 to scale RL by encouraging exploration and understand inference scaling. We first initialize the LLM using synthesized chain-of-thought data that integrates trial-and-error and self-verification. To scale RL training, we promote increased sampling diversity through oversampling. We demonstrate that T1 with open LLMs as its base exhibits inference scaling behavior and achieves superior performance on challenging math reasoning benchmarks. More importantly, we present a simple strategy to examine inference scaling, where increased inference budgets directly lead to T1's better performance without any additional verification.