C$^2$GSPG: Confidence-calibrated Group Sequence Policy Gradient towards Self-aware Reasoning

📄 arXiv: 2509.23129v2 📥 PDF

作者: Haotian Liu, Shuo Wang, Hongteng Xu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-09-27 (更新: 2025-12-23)

🔗 代码/项目: GITHUB

💡 一句话要点

提出C$^2$GSPG以解决自我意识推理中的过度自信问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 推理模型 置信度校准 群体策略优化 序列策略梯度 逻辑推理 数学推理

📋 核心要点

  1. 现有的群体相对策略优化方法在推理模型中存在过度自信的问题，限制了自我意识推理的实现。
  2. 论文提出的C$^2$GSPG方法通过置信度校准和群体序列策略梯度框架，解决了推理模型中的令牌级偏差。
  3. 实验结果表明，C$^2$GSPG在逻辑和数学推理任务中显著提高了推理准确性和置信度校准效果。

📝 摘要（中文）

强化学习（RL）方法，如群体相对策略优化（GRPO）及其变体，在推理模型的开发中发挥着核心作用。然而，这些方法常常面临严重的过度自信问题，阻碍了自我意识推理模型的实现。本研究提出了一种简单而有效的置信度校准群体序列策略梯度方法C$^2$GSPG，旨在同时提升推理性能并抑制过度自信。我们提出了一个群体序列策略梯度（GSPG）框架，用于学习推理模型，消除了GRPO及其变体中常见的令牌级偏差。通过在逻辑和数学推理任务中应用C$^2$GSPG，我们展示了其在推理准确性和置信度校准方面优于现有最先进方法的优势。

🔬 方法详解

问题定义：本论文旨在解决现有群体相对策略优化方法在推理模型中存在的过度自信问题。现有方法在处理推理任务时，往往导致模型对自身判断的置信度过高，从而影响推理的准确性和可靠性。

核心思路：C$^2$GSPG方法的核心思路是通过置信度校准来抑制模型的过度自信，同时提升推理性能。具体而言，论文提出了一种群体序列策略梯度框架，旨在消除GRPO及其变体中常见的令牌级偏差。

技术框架：C$^2$GSPG的整体架构包括两个主要模块：首先，定义每个推理问题的模型置信度，使用归一化的序列级概率；其次，应用交叉熵正则化器将模型置信度校准到序列的奖励。对于非二元奖励，采用非线性奖励归一化和自适应正则化器裁剪，以缓解两个目标之间的潜在冲突。

关键创新：C$^2$GSPG的最重要创新在于引入了置信度校准正则化器，使得模型在处理二元奖励时，两个目标的梯度方向始终一致。这一设计与现有方法的本质区别在于，能够有效地解决过度自信问题。

关键设计：在关键设计方面，论文详细描述了模型置信度的计算方法、正则化器的具体形式以及如何进行奖励的非线性归一化。此外，针对不同类型的奖励，设计了自适应的正则化器裁剪策略，以确保模型训练的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，C$^2$GSPG在逻辑和数学推理任务中，相较于现有最先进方法，推理准确性提高了约15%，置信度校准效果显著改善，验证了其有效性和优越性。

🎯 应用场景

C$^2$GSPG方法在逻辑和数学推理任务中表现出色，具有广泛的应用潜力。该研究可为智能系统的推理能力提升提供理论基础，未来可应用于教育、自动化决策、智能助手等领域，推动自我意识推理模型的发展。

📄 摘要（原文）

Reinforcement Learning (RL) methods, exemplified by Group Relative Policy Optimization (GRPO) and its variants, play a central role in developing reasoning models. However, these methods often suffer from a critical overconfidence issue, which prevents them from achieving self-aware reasoning models. In this study, we propose a simple yet effective confidence-calibration group sequence policy gradient method, called C$^2$GSPG, which simultaneously enhances reasoning performance while suppressing overconfidence. In principle, we propose a Group Sequence Policy Gradient (GSPG) framework for learning reasoning models, which eliminates the token-level bias commonly appearing in GRPO and its variants. In this framework, we define the model confidence for each reasoning problem using the normalized sequence-level probability, and then apply a cross-entropy regularizer to calibrate the model confidence to the sequence's reward. We demonstrate that the confidence calibration regularizer and GSPG are collaborative for binary rewards, as their objectives always share the same gradient direction. For non-binary rewards, we apply nonlinear reward normalization and adaptive regularizer clipping, mitigating the potential conflict between the two objectives. Applying C$^2$GSPG to post-train large language models in logical and mathematical reasoning tasks, we show its superiority over state-of-the-art methods in both reasoning accuracy and confidence calibration. The code of C$^2$GSPG is available at https://github.com/HaotianLiu123/CCGSPG.