Decomposing Elements of Problem Solving: What "Math" Does RL Teach?
作者: Tian Qin, Core Francisco Park, Mujin Kwun, Aaron Walsman, Eran Malach, Nikhil Anand, Hidenori Tanaka, David Alvarez-Melis
分类: cs.AI, cs.CL, cs.LG
发布日期: 2025-05-28
🔗 代码/项目: GITHUB
💡 一句话要点
分解问题解决要素：强化学习究竟教会了LLM什么“数学”？
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 大型语言模型 数学推理 问题分解 解树导航
📋 核心要点
- 现有LLM在数学推理任务中表现提升，但缺乏对模型内化技能的细粒度评估。
- 将问题解决分解为计划、执行和验证三个基本能力，从而更深入地理解模型能力。
- 实验表明，RL主要提升执行能力，但模型在解决全新问题时面临“覆盖壁垒”。
📝 摘要（中文）
数学推理任务已成为评估大型语言模型（LLM）推理能力的重要基准，特别是像GRPO这样的强化学习（RL）方法表现出显著的性能提升。然而，仅凭准确率指标无法对能力进行细粒度的评估，也无法揭示模型内化的具体问题解决技能。为了更好地理解这些能力，我们提出将问题解决分解为基本能力：计划（将问题映射到步骤序列）、执行（正确执行解决方案步骤）和验证（识别解决方案的正确性）。实验表明，GRPO主要增强了执行技能——提高了模型已知问题的执行鲁棒性，我们称之为温度蒸馏。更重要的是，我们发现经过RL训练的模型难以解决根本性的新问题，由于计划技能不足而遇到“覆盖壁垒”。为了更深入地探索RL的影响，我们构建了一个最小的合成解树导航任务，作为数学问题解决的类比。这种受控设置复制了我们的实验结果，证实RL主要提高执行鲁棒性。重要的是，在这种设置中，我们确定了RL可能通过改进探索和泛化到新的解决方案路径来克服覆盖壁垒的条件。我们的发现为了解RL在增强LLM推理中的作用提供了见解，揭示了关键的局限性，并提出了克服这些障碍的途径。
🔬 方法详解
问题定义：论文旨在深入理解强化学习（RL）如何影响大型语言模型（LLM）的数学推理能力。现有方法仅关注准确率等宏观指标，无法细致地评估模型在问题解决过程中各个环节的能力，特别是模型在面对全新问题时的泛化能力。现有研究缺乏对模型“计划”、“执行”和“验证”等基本技能的分解和评估，难以解释RL带来的性能提升的本质原因。
核心思路：论文的核心思路是将数学问题解决过程分解为三个关键要素：计划（Plan）、执行（Execute）和验证（Verify）。通过这种分解，可以更精确地评估RL对LLM在不同能力上的影响。论文认为，RL可能主要提升了模型的执行能力，而非计划能力，从而导致模型在面对全新问题时遇到“覆盖壁垒”。为了验证这一假设，论文设计了一个简化的解树导航任务，模拟数学问题解决过程。
技术框架：论文的技术框架包括两个主要部分：1) 对现有数学推理任务进行分解，评估RL训练的LLM在计划、执行和验证三个方面的能力；2) 构建一个最小化的合成解树导航任务，作为数学问题解决的类比，在该受控环境中研究RL的影响。在解树导航任务中，模型需要通过一系列步骤找到目标节点，每个步骤对应一个动作。通过调整任务的难度和奖励机制，可以控制模型的探索行为和泛化能力。
关键创新：论文最重要的技术创新点在于提出了将问题解决过程分解为计划、执行和验证三个基本能力，并以此为基础评估RL对LLM的影响。这种分解方法为理解LLM的推理能力提供了一个新的视角，并揭示了RL可能存在的局限性。此外，论文构建的合成解树导航任务提供了一个受控环境，用于研究RL在问题解决中的作用，并验证了论文的假设。
关键设计：在解树导航任务中，论文设计了不同的奖励机制，以鼓励模型进行探索和泛化。例如，可以给予模型探索新路径的奖励，或者给予模型成功到达目标节点的奖励。此外，论文还研究了不同的网络结构和训练策略，以提高模型的性能。关键参数包括学习率、折扣因子、探索率等。损失函数通常采用标准的强化学习损失函数，如策略梯度损失或Q-learning损失。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用GRPO等RL方法训练的LLM主要提升了执行能力，而非计划能力。在合成解树导航任务中，RL主要提高了模型在已知路径上的执行鲁棒性，但难以泛化到新的路径。通过调整奖励机制和探索策略，可以潜在地克服“覆盖壁垒”，提高模型的泛化能力。实验结果验证了论文的假设，并为改进LLM的推理能力提供了新的思路。
🎯 应用场景
该研究成果可应用于提升大型语言模型在数学推理、代码生成等领域的性能。通过针对性地提升模型的计划能力，可以克服模型在解决全新问题时遇到的“覆盖壁垒”，从而提高模型的泛化能力和实用性。此外，该研究提出的问题解决能力分解方法，可以为评估和改进LLM的推理能力提供指导。
📄 摘要（原文）
Mathematical reasoning tasks have become prominent benchmarks for assessing the reasoning capabilities of LLMs, especially with reinforcement learning (RL) methods such as GRPO showing significant performance gains. However, accuracy metrics alone do not support fine-grained assessment of capabilities and fail to reveal which problem-solving skills have been internalized. To better understand these capabilities, we propose to decompose problem solving into fundamental capabilities: Plan (mapping questions to sequences of steps), Execute (correctly performing solution steps), and Verify (identifying the correctness of a solution). Empirically, we find that GRPO mainly enhances the execution skill-improving execution robustness on problems the model already knows how to solve-a phenomenon we call temperature distillation. More importantly, we show that RL-trained models struggle with fundamentally new problems, hitting a 'coverage wall' due to insufficient planning skills. To explore RL's impact more deeply, we construct a minimal, synthetic solution-tree navigation task as an analogy for mathematical problem-solving. This controlled setup replicates our empirical findings, confirming RL primarily boosts execution robustness. Importantly, in this setting, we identify conditions under which RL can potentially overcome the coverage wall through improved exploration and generalization to new solution paths. Our findings provide insights into the role of RL in enhancing LLM reasoning, expose key limitations, and suggest a path toward overcoming these barriers. Code is available at https://github.com/cfpark00/RL-Wall.