Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models
作者: Fengli Xu, Qianyue Hao, Zefang Zong, Jingwei Wang, Yunke Zhang, Jingyi Wang, Xiaochong Lan, Jiahui Gong, Tianjian Ouyang, Fanjin Meng, Chenyang Shao, Yuwei Yan, Qinglong Yang, Yiwen Song, Sijian Ren, Xinyuan Hu, Yu Li, Jie Feng, Chen Gao, Yong Li
分类: cs.AI, cs.CL
发布日期: 2025-01-16 (更新: 2025-01-23)
备注: 36 pages, 5 figures
💡 一句话要点
综述：基于强化学习的大语言模型推理能力研究进展
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 强化学习 推理能力 自动化数据构建 测试时扩展 学习推理 策略梯度
📋 核心要点
- 现有LLM在复杂推理任务中面临挑战，缺乏有效模仿人类复杂推理过程的能力。
- 论文核心思想是利用强化学习训练LLM，使其通过试错学习高质量的推理轨迹。
- 通过在训练和测试阶段扩展LLM的推理能力，显著提升了LLM在复杂推理任务中的准确性。
📝 摘要（中文）
语言长期以来被认为是人类推理的重要工具。大型语言模型（LLMs）的突破激发了利用这些模型解决复杂推理任务的重大研究兴趣。研究人员已经超越了简单的自回归token生成，引入了“思想”的概念——一系列代表推理过程中间步骤的token。这种创新范式使LLMs能够模仿复杂的人类推理过程，如树搜索和反思性思维。最近，一种新兴的学习推理趋势应用强化学习（RL）来训练LLMs掌握推理过程。这种方法通过试错搜索算法自动生成高质量的推理轨迹，通过提供更多的训练数据，显著扩展了LLMs的推理能力。此外，最近的研究表明，鼓励LLMs在测试时推理过程中用更多的token“思考”可以进一步显著提高推理准确性。因此，训练时和测试时的扩展结合起来展示了一个新的研究前沿——通往大型推理模型的道路。OpenAI的o1系列的推出标志着这一研究方向的一个重要里程碑。在这项调查中，我们全面回顾了LLM推理的最新进展。我们首先介绍LLMs的基础背景，然后探讨推动大型推理模型发展的关键技术组成部分，重点是自动化数据构建、学习推理技术和测试时扩展。我们还分析了构建大型推理模型的流行的开源项目，并总结了开放的挑战和未来的研究方向。
🔬 方法详解
问题定义：现有的大语言模型在复杂推理任务中表现不足，难以像人类一样进行深度的思考和推理。传统的自回归生成方式难以捕捉推理过程中的中间步骤和反思性思维，导致推理结果的准确性不高。
核心思路：论文的核心思路是利用强化学习（RL）来训练大语言模型，使其能够通过试错的方式学习到高质量的推理轨迹。通过奖励机制，鼓励模型生成更符合逻辑和事实的推理步骤，从而提高整体的推理能力。这种方法模拟了人类在解决问题时的探索和学习过程。
技术框架：整体框架包括三个主要部分：1) 数据构建：自动化生成用于训练的推理数据，例如通过自问自答或知识图谱等方式；2) 学习推理：使用强化学习算法（如策略梯度或近端策略优化）训练LLM，使其能够根据当前状态选择合适的推理步骤；3) 测试时扩展：在推理阶段，鼓励LLM生成更多的推理步骤（“思考”），并通过某种机制（如投票或选择）选择最佳的推理路径。
关键创新：最重要的创新点在于将强化学习引入到大语言模型的推理训练中。与传统的监督学习方法不同，强化学习能够让模型在没有明确标签的情况下，通过与环境的交互学习到最优的推理策略。此外，测试时扩展也是一个重要的创新，它允许模型在推理阶段进行更深入的探索，从而提高准确性。
关键设计：关键设计包括：1) 奖励函数的设计：如何定义一个能够有效衡量推理步骤质量的奖励函数；2) 强化学习算法的选择：选择合适的强化学习算法，以保证训练的稳定性和效率；3) 推理步骤的表示：如何将推理步骤表示为LLM可以理解的token序列；4) 测试时扩展的策略：如何有效地利用生成的多个推理路径，例如通过投票或选择等方式。
🖼️ 关键图片
📊 实验亮点
该综述总结了利用强化学习提升大语言模型推理能力的研究进展，强调了自动化数据构建、学习推理技术和测试时扩展的重要性。OpenAI的o1系列是该方向的重要里程碑。通过训练时和测试时的扩展，显著提高了LLM在复杂推理任务中的准确性，为构建大型推理模型提供了新的思路。
🎯 应用场景
该研究成果可广泛应用于需要复杂推理能力的场景，例如智能问答、知识图谱推理、代码生成、医疗诊断等。通过提升LLM的推理能力，可以使其在这些领域提供更准确、更可靠的解决方案，具有重要的实际应用价值和未来发展潜力。
📄 摘要（原文）
Language has long been conceived as an essential tool for human reasoning. The breakthrough of Large Language Models (LLMs) has sparked significant research interest in leveraging these models to tackle complex reasoning tasks. Researchers have moved beyond simple autoregressive token generation by introducing the concept of "thought" -- a sequence of tokens representing intermediate steps in the reasoning process. This innovative paradigm enables LLMs' to mimic complex human reasoning processes, such as tree search and reflective thinking. Recently, an emerging trend of learning to reason has applied reinforcement learning (RL) to train LLMs to master reasoning processes. This approach enables the automatic generation of high-quality reasoning trajectories through trial-and-error search algorithms, significantly expanding LLMs' reasoning capacity by providing substantially more training data. Furthermore, recent studies demonstrate that encouraging LLMs to "think" with more tokens during test-time inference can further significantly boost reasoning accuracy. Therefore, the train-time and test-time scaling combined to show a new research frontier -- a path toward Large Reasoning Model. The introduction of OpenAI's o1 series marks a significant milestone in this research direction. In this survey, we present a comprehensive review of recent progress in LLM reasoning. We begin by introducing the foundational background of LLMs and then explore the key technical components driving the development of large reasoning models, with a focus on automated data construction, learning-to-reason techniques, and test-time scaling. We also analyze popular open-source projects at building large reasoning models, and conclude with open challenges and future research directions.