Promoting Efficient Reasoning with Verifiable Stepwise Reward

📄 arXiv: 2508.10293v2 📥 PDF

作者: Chuhuai Yue, Chengqi Dong, Yinan Gao, Hang He, Jiajun Chai, Guojun Yin, Wei Lin

分类: cs.AI

发布日期: 2025-08-14 (更新: 2025-08-16)

💡 一句话要点

提出基于可验证逐步奖励机制(VSRM)，提升大型推理模型(LRM)的推理效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 大型推理模型 强化学习 可验证奖励 逐步推理 效率优化 过度思考 数学推理 奖励机制

📋 核心要点

  1. 大型推理模型存在过度思考问题，导致计算资源浪费和效率降低。
  2. 提出可验证逐步奖励机制(VSRM)，根据推理步骤的有效性进行奖励，抑制无效步骤。
  3. 实验表明，VSRM在保持推理性能的同时，显著减少了输出长度，提升了效率。

📝 摘要（中文）

大型推理模型(LRM)在复杂推理任务中取得了显著进展，这得益于使用可验证奖励的强化学习。然而，LRM常常面临过度思考的问题，即在简单问题上花费过多的计算资源，从而降低效率。现有的高效推理方法通常需要准确的任务评估来预设token预算或选择推理模式，这限制了它们的灵活性和可靠性。本文重新审视了过度思考的本质，并认为鼓励有效步骤、惩罚无效步骤是解决该问题的关键。为此，我们提出了一种新颖的基于规则的可验证逐步奖励机制(VSRM)，该机制根据推理轨迹中中间状态的性能来分配奖励。这种方法直观且自然地契合了推理任务的逐步特性。通过将VSRM与PPO和Reinforce++集成，我们在包括AIME24和AIME25在内的标准数学推理基准上进行了大量实验。结果表明，我们的方法在保持原始推理性能的同时，显著减少了输出长度，从而在效率和准确性之间取得了最佳平衡。对训练前后过度思考频率和pass@k得分的进一步分析表明，我们的方法确实有效地抑制了无效步骤，鼓励了有效推理，从根本上缓解了过度思考问题。所有代码将在接受后发布。

🔬 方法详解

问题定义：论文旨在解决大型推理模型（LRM）在推理过程中存在的“过度思考”问题。现有方法通常依赖于预设token预算或选择推理模式，但这些方法需要准确的任务评估，限制了其灵活性和可靠性。LRM在简单问题上花费过多计算资源，导致效率降低。

核心思路：论文的核心思路是，通过奖励有效的推理步骤，惩罚无效的推理步骤，从而引导模型进行更高效的推理。这种方法直接针对过度思考的本质，即无效步骤的产生。

技术框架：整体框架是将VSRM集成到现有的强化学习训练框架中，例如PPO和Reinforce++。具体流程如下：1. LRM生成推理轨迹；2. VSRM根据推理轨迹中的中间状态评估每一步的有效性；3. 根据评估结果，VSRM为每一步分配奖励；4. 强化学习算法根据VSRM提供的奖励更新LRM的策略。

关键创新：最重要的技术创新点是提出了基于规则的可验证逐步奖励机制(VSRM)。VSRM与现有方法的本质区别在于，它不是预先设定token预算或推理模式，而是根据推理过程中的实际表现动态地调整奖励，从而更灵活地引导模型进行高效推理。

关键设计：VSRM的关键设计在于如何定义和评估推理步骤的有效性。论文采用基于规则的方法，根据中间状态的性能来分配奖励。具体的规则设计需要根据具体的推理任务进行调整。例如，在数学推理任务中，可以根据中间步骤是否接近最终答案、是否使用了正确的公式等来判断其有效性。损失函数方面，强化学习算法使用VSRM提供的奖励来优化策略，目标是最大化累积奖励。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VSRM在AIME24和AIME25等标准数学推理基准上，能够在保持原始推理性能的同时，显著减少输出长度。具体而言，与基线方法相比，VSRM能够有效抑制无效步骤，鼓励有效推理，从而在效率和准确性之间取得最佳平衡。对训练前后过度思考频率和pass@k得分的分析进一步验证了VSRM的有效性。

🎯 应用场景

该研究成果可应用于各种需要复杂推理的场景，例如数学问题求解、代码生成、知识图谱推理等。通过提升推理效率，可以降低计算成本，提高响应速度，并使大型推理模型更易于部署在资源受限的设备上。未来，该方法有望扩展到其他类型的推理任务，并与其他高效推理技术相结合，进一步提升推理性能。

📄 摘要（原文）

Large reasoning models (LRMs) have recently achieved significant progress in complex reasoning tasks, aided by reinforcement learning with verifiable rewards. However, LRMs often suffer from overthinking, expending excessive computation on simple problems and reducing efficiency. Existing efficient reasoning methods typically require accurate task assessment to preset token budgets or select reasoning modes, which limits their flexibility and reliability. In this work, we revisit the essence of overthinking and identify that encouraging effective steps while penalizing ineffective ones is key to its solution. To this end, we propose a novel rule-based verifiable stepwise reward mechanism (VSRM), which assigns rewards based on the performance of intermediate states in the reasoning trajectory. This approach is intuitive and naturally fits the step-by-step nature of reasoning tasks. We conduct extensive experiments on standard mathematical reasoning benchmarks, including AIME24 and AIME25, by integrating VSRM with PPO and Reinforce++. Results show that our method achieves substantial output length reduction while maintaining original reasoning performance, striking an optimal balance between efficiency and accuracy. Further analysis of overthinking frequency and pass@k score before and after training demonstrates that our approach in deed effectively suppresses ineffective steps and encourages effective reasoning, fundamentally alleviating the overthinking problem. All code will be released upon acceptance.