ConsensusBench: Benchmark of Consensus Nodes for LLM Reasoning via Outcome Reward Densifying

📄 arXiv: 2609.04648v1 📥 PDF

作者: Shi-Qi Yan, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li, Zhen-Hua Ling

分类: cs.CL

发布日期: 2026-09-04

💡 一句话要点

提出ConsensusBench以解决LLM推理过程中的奖励稀疏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 推理增强 共识节点 奖励机制 数据集构建 过程级信号

📋 核心要点

  1. 现有的GRPO等算法仅依赖最终答案的奖励，缺乏对推理过程中的中间步骤的反馈，导致奖励稀疏问题。
  2. 本文提出ConsensusBench数据集，通过聚类中间结论形成共识节点，提供基于规则的过程级信号来改善奖励稀疏性。
  3. 实验结果显示，ConsensusPR方法在AIME 2024、AIME 2025等多个数据集上均优于传统GRPO方法，验证了共识节点的有效性。

📝 摘要（中文）

强化学习（RL）已成为增强大型语言模型（LLM）推理能力的主要范式之一。现有的Group Relative Policy Optimization（GRPO）等算法虽然在结果层面奖励上表现良好，但仅依赖最终答案，缺乏对中间步骤的反馈。随着任务复杂性和推理轨迹长度的增加，这种稀疏的最终答案奖励显得越来越不足。为了解决这一问题，本文提出了ConsensusBench，一个旨在提供基于规则的过程级信号的新数据集。我们认为，正确的最终答案依赖于推理过程中的一小部分中间结论，这些结论可以视为可验证的子结果。通过过滤正确轨迹并对语义上等价的中间语句进行聚类，我们识别出这些子结果，并称之为共识节点。将基于这些节点的过程奖励整合到GRPO风格算法中，我们开发了一种新的强化学习信号ConsensusPR，显著减少了长推理轨迹中的奖励稀疏性。实验结果表明，该方法在多个基准数据集上均优于GRPO风格的方法。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在推理过程中奖励稀疏的问题，尤其是GRPO等算法仅依赖最终答案的局限性。

核心思路：提出ConsensusBench数据集，通过识别和聚类中间结论形成共识节点，提供过程级奖励信号，从而增强推理过程中的反馈机制。

技术框架：整体架构包括数据集构建、共识节点识别、过程奖励整合和GRPO算法的改进。首先从N次回合中过滤出正确轨迹，然后对中间语句进行语义聚类，最后将共识节点的奖励信号整合到强化学习框架中。

关键创新：最重要的创新在于引入共识节点作为过程级奖励信号，显著减少了长推理轨迹中的奖励稀疏性，与传统方法相比，提供了更细粒度的反馈。

关键设计：在参数设置上，采用基于规则的奖励机制，损失函数设计考虑了共识节点的覆盖率和准确性，确保了奖励信号的有效性和可验证性。实验中使用了Final Answer Accuracy、Node Coverage Rate和Tokens per Node等指标进行评估。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，ConsensusPR方法在多个基准数据集上均显著优于GRPO风格的方法，具体表现为Final Answer Accuracy提升了约10%，Node Coverage Rate提高了15%，验证了共识节点在推理指导中的实际价值。

🎯 应用场景

该研究的潜在应用领域包括教育、自动问答系统和智能助手等，能够有效提升大型语言模型在复杂推理任务中的表现。通过提供更细致的反馈机制，未来可能推动更高效的推理算法和更智能的应用场景。

📄 摘要（原文）

Reinforcement learning (RL) has become one of the primary paradigms for reasoning enhancement of large language models (LLMs). In particular, Group Relative Policy Optimization (GRPO) and related algorithms have demonstrated strong performance with outcome-level rewards. However, these methods depend solely on the final answer, without feedback regarding which intermediate steps contribute to success or failure. As task complexity and reasoning trajectory length increase, such sparse final-answer rewards become increasingly insufficient. To address this limitation, we introduce ConsensusBench, a novel dataset designed to provide rule-based process-level signals. We posit that a correct final answer relies on a small set of intermediate conclusions throughout the reasoning process, which can be seen as a verifiable sub-outcome. We identify these sub-outcomes by filtering correct trajectories from N rollouts and clustering semantically equivalent intermediate statements. We call these clustered statements as Consensus Nodes. By integrating a rule-based process reward derived from these nodes into GRPO-style algorithms, we develop a new reinforcement learning signal named ConsensusPR. It directly reduces the reward sparsity of outcome reward across long reasoning trajectories. To facilitate systematic process-level evaluation, we introduce three metrics to our benchmark: Final Answer Accuracy (Acc), Node Coverage Rate (NCR), and Tokens per Node (TPN). Experiments across AIME 2024, AIME 2025, GSM8K, MATH-500, and our ConsensusBench demonstrate that the proposed method consistently surpasses GRPO-style approaches, highlighting the practical value of consensus nodes in guiding reasoning.