GPO: Learning from Critical Steps to Improve LLM Reasoning

📄 arXiv: 2509.16456v2 📥 PDF

作者: Jiahao Yu, Zelei Cheng, Xian Wu, Xinyu Xing

分类: cs.AI

发布日期: 2025-09-19 (更新: 2025-10-21)

备注: 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

💡 一句话要点

GPO：通过学习关键步骤提升大型语言模型推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理能力 关键步骤 优势函数 微调策略

📋 核心要点

  1. 现有方法在优化LLM推理能力时，通常将推理过程视为整体，忽略了其中至关重要的关键步骤。
  2. GPO通过识别推理轨迹中的关键步骤，并优先学习这些步骤，从而更有效地提升LLM的推理能力。
  3. 实验表明，GPO可以与多种优化方法结合，在推理基准测试中显著提升性能，具有良好的通用性。

📝 摘要（中文）

大型语言模型（LLMs）在各个领域得到日益广泛的应用，并在不同任务上展现出令人印象深刻的潜力。最近，推理LLMs被提出以提高LLMs的 extit{推理}或 extit{思考}能力，从而解决复杂问题。尽管推理LLMs取得了可喜的成果，但增强LLMs的多步推理能力仍然是一个重大挑战。现有的优化方法虽然提升了LLM的推理能力，但它们通常将推理轨迹视为一个整体，而没有考虑轨迹中潜在的关键步骤。在本文中，我们介绍了一种新的微调策略，即 extbf{G}uided extbf{P}ivotal extbf{O}ptimization (GPO)，它深入研究推理过程，从而实现更有效的改进。GPO首先识别推理轨迹中的“关键步骤”——模型必须谨慎进行才能成功解决问题的点。我们通过估计优势函数来定位关键步骤。然后，GPO将策略重置为关键步骤，对新的rollout进行采样，并优先考虑对这些rollout的学习过程。这种关注使模型能够更有效地从推理过程中的关键时刻学习，从而提高推理性能。我们证明GPO是一种通用策略，可以与各种优化方法集成，以提高推理性能。除了理论分析之外，我们在具有挑战性的推理基准上的实验表明，GPO可以持续且显着地提高现有优化方法的性能，展示了其通过专注于生成过程中的关键时刻来提高LLM推理的有效性和通用性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在多步推理任务中表现不佳的问题。现有优化方法通常将整个推理轨迹视为一个整体进行优化，忽略了推理过程中关键步骤的重要性，导致学习效率低下，难以有效提升LLM的推理能力。

核心思路：GPO的核心思路是识别并重点优化推理过程中的“关键步骤”。论文认为，推理过程中存在一些对最终结果影响最大的步骤，如果模型在这些步骤上犯错，后续的推理很可能失败。因此，通过集中学习这些关键步骤，可以更有效地提升LLM的推理能力。

技术框架：GPO包含以下主要阶段：1) 关键步骤识别：使用优势函数估计方法，评估推理轨迹中每个步骤的重要性，从而识别出关键步骤。优势函数衡量的是在某个状态下采取某个动作相对于平均水平的优势。2) 策略重置与采样：将策略重置到关键步骤，并从该步骤开始进行新的rollout采样，生成新的推理轨迹。3) 优先学习：优先学习包含关键步骤的rollout，使模型能够更有效地从关键时刻学习。

关键创新：GPO最重要的创新在于其关注推理过程中的关键步骤，并针对这些步骤进行重点优化。与现有方法将整个推理轨迹视为一个整体不同，GPO能够更精确地定位需要改进的地方，从而提高学习效率和推理性能。

关键设计：GPO的关键设计包括：1) 优势函数估计：论文采用了一种有效的优势函数估计方法，用于准确识别关键步骤。具体的优势函数计算方法在论文中进行了详细描述（未知）。2) 策略重置机制：策略重置到关键步骤的设计，使得模型能够从关键时刻重新开始学习，避免了无效的探索。3) 优先学习策略：通过对包含关键步骤的rollout进行优先学习，提高了学习效率，使得模型能够更快地掌握关键步骤的推理技巧。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPO可以显著提升现有优化方法的性能。在多个具有挑战性的推理基准测试中，GPO与现有优化方法结合后，性能均得到了显著提升。具体的性能提升幅度在论文中进行了详细的展示（未知），证明了GPO在提高LLM推理能力方面的有效性和通用性。

🎯 应用场景

GPO方法可以应用于各种需要复杂推理能力的场景，例如问答系统、数学问题求解、代码生成等。通过提升LLM的推理能力，GPO可以帮助LLM更好地理解问题、生成更准确的答案、解决更复杂的问题，从而提高LLM在实际应用中的价值。未来，GPO可以进一步扩展到其他类型的任务和模型，并与其他优化方法相结合，以实现更强大的推理能力。

📄 摘要（原文）

Large language models (LLMs) are increasingly used in various domains, showing impressive potential on different tasks. Recently, reasoning LLMs have been proposed to improve the \textit{reasoning} or \textit{thinking} capabilities of LLMs to solve complex problems. Despite the promising results of reasoning LLMs, enhancing the multi-step reasoning capabilities of LLMs still remains a significant challenge. While existing optimization methods have advanced the LLM reasoning capabilities, they often treat reasoning trajectories as a whole, without considering the underlying critical steps within the trajectory. In this paper, we introduce \textbf{G}uided \textbf{P}ivotal \textbf{O}ptimization (GPO), a novel fine-tuning strategy that dives into the reasoning process to enable more effective improvements. GPO first identifies the `critical step' within a reasoning trajectory - a point that the model must carefully proceed to succeed at the problem. We locate the critical step by estimating the advantage function. GPO then resets the policy to the critical step, samples the new rollout and prioritizes the learning process on those rollouts. This focus allows the model to learn more effectively from pivotal moments within the reasoning process to improve the reasoning performance. We demonstrate that GPO is a general strategy that can be integrated with various optimization methods to improve reasoning performance. Besides theoretical analysis, our experiments across challenging reasoning benchmarks show that GPO can consistently and significantly enhance the performance of existing optimization methods, showcasing its effectiveness and generalizability in improving LLM reasoning by concentrating on pivotal moments within the generation process.