Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning

📄 arXiv: 2509.03646v3 📥 PDF

作者: Haozhe Wang, Qixin Xu, Che Liu, Junhong Wu, Fangzhen Lin, Wenhu Chen

分类: cs.AI, cs.CL

发布日期: 2025-09-03 (更新: 2025-09-27)

备注: Preprint

💡 一句话要点

提出HICRA算法，通过强化学习提升LLM的层级推理能力，优化策略规划。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 层级推理 信用分配 战略规划

📋 核心要点

  1. 现有强化学习算法在提升LLM推理能力时，对所有token施加相同的优化压力，导致学习信号被稀释，效率低下。
  2. 论文提出层级感知信用分配（HICRA）算法，将优化重点放在高影响力的规划token上，从而更有效地提升LLM的推理能力。
  3. 实验结果表明，HICRA算法显著优于现有基线方法，验证了其在提升LLM战略规划能力方面的有效性。

📝 摘要（中文）

本文研究了强化学习(RL)提升大型语言模型(LLM)复杂推理能力的机制。分析表明，“顿悟时刻”、“长度缩放”和熵动力学等现象并非孤立事件，而是涌现推理层级的标志，类似于人类认知中高层战略规划与低层程序执行的分离。研究揭示了一个引人注目的两阶段动态过程：模型最初受程序正确性的约束，必须提高其低级技能；随后，学习瓶颈发生决定性转变，性能提升由高级战略规划的探索和掌握驱动。这一发现揭示了现有RL算法（如GRPO）的一个核心低效性，即优化压力不可知地应用于所有token，从而稀释了学习信号。为了解决这个问题，我们提出了一种层级感知信用分配（HICRA）算法，该算法将优化工作集中在高影响力的规划token上。大量的实验验证了HICRA明显优于强大的基线，并从战略探索的角度深入了解了推理是如何进步的。

🔬 方法详解

问题定义：论文旨在解决大型语言模型(LLM)在复杂推理任务中，由于强化学习(RL)算法对所有token无差别优化而导致的学习效率低下的问题。现有方法如GRPO，将优化压力平均分配给所有token，忽略了不同token在推理过程中的重要性差异，导致学习信号稀释，难以有效提升LLM的战略规划能力。

核心思路：论文的核心思路是区分LLM推理过程中的高层战略规划和低层程序执行，并针对性地进行优化。通过识别对最终结果影响更大的“规划token”，将优化重点放在这些token上，从而更有效地提升LLM的推理能力。这种层级感知的信用分配方式能够更精准地利用强化学习的信号。

技术框架：HICRA算法的技术框架主要包含以下几个步骤：1) 使用LLM生成推理过程的token序列；2) 评估每个token对最终结果的影响力，即信用分配；3) 根据信用分配结果，对高影响力的规划token进行重点优化；4) 使用强化学习算法（如GRPO）更新LLM的参数。整体流程旨在通过差异化的优化策略，提升LLM的战略规划能力。

关键创新：HICRA算法的最重要的技术创新点在于其层级感知的信用分配机制。与现有方法对所有token进行无差别优化不同，HICRA能够识别并重点优化对最终结果影响更大的规划token。这种差异化的优化策略能够更有效地利用强化学习的信号，提升LLM的推理能力。

关键设计：HICRA算法的关键设计包括：1) 如何定义和识别“规划token”：论文可能采用某种指标来衡量token对最终结果的影响力，例如基于梯度或注意力机制；2) 如何进行信用分配：论文可能采用某种加权策略，将更多的优化资源分配给高影响力的规划token；3) 如何与现有的强化学习算法（如GRPO）结合：HICRA可以作为一种优化策略，与现有的强化学习算法结合使用，提升其学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HICRA算法在多个推理任务上显著优于现有基线方法，例如GRPO。具体的性能提升数据（例如准确率、奖励值等）需要在论文中查找。实验验证了HICRA算法在提升LLM战略规划能力方面的有效性，并为未来的研究提供了新的思路。

🎯 应用场景

该研究成果可应用于需要复杂推理和规划能力的各种领域，如智能游戏、自动驾驶、金融分析、医疗诊断等。通过提升LLM的战略规划能力，可以使其在这些领域中更好地解决实际问题，提高决策效率和准确性，具有重要的实际应用价值和广阔的未来发展前景。

📄 摘要（原文）

Reinforcement Learning (RL) has proven highly effective at enhancing the complex reasoning abilities of Large Language Models (LLMs), yet underlying mechanisms driving this success remain largely opaque. Our analysis reveals that puzzling phenomena like aha moments",length-scaling'' and entropy dynamics are not disparate occurrences but hallmarks of an emergent reasoning hierarchy, akin to the separation of high-level strategic planning from low-level procedural execution in human cognition. We uncover a compelling two-phase dynamic: initially, a model is constrained by procedural correctness and must improve its low-level skills. The learning bottleneck then decisively shifts, with performance gains being driven by the exploration and mastery of high-level strategic planning. This insight exposes a core inefficiency in prevailing RL algorithms like GRPO, which apply optimization pressure agnostically and dilute the learning signal across all tokens. To address this, we propose Hierarchy-Aware Credit Assignment (HICRA), an algorithm that concentrates optimization efforts on high-impact planning tokens. Our extensive experiments validate that HICRA significantly outperforms strong baselines, and offer deep insights into how reasoning advances through the lens of strategic exploration.