Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models

📄 arXiv: 2509.23962v1 📥 PDF

作者: Guanxu Chen, Yafu Li, Yuxian Jiang, Chen Qian, Qihan Ren, Jingyi Yang, Yu Cheng, Dongrui Liu, Jing Shao

分类: cs.AI, cs.CL

发布日期: 2025-09-28

备注: 18 pages, 13 figures, 4 tables

💡 一句话要点

提出CANON：一种条件优势估计方法，提升大型推理模型在强化学习中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 推理能力 优势估计 条件学习

📋 核心要点

  1. 现有强化学习方法在利用先验知识时依赖手工设计的奖励或优势塑造，超参数敏感，易引入偏差。
  2. CANON通过条件优势估计，无需预设方向即可放大目标指标的影响，从而更有效地利用先验知识。
  3. 实验表明，CANON在数学推理和逻辑任务中优于现有方法，并在token效率方面有所提升。

📝 摘要（中文）

本文提出了一种用于大型语言模型（LLM）的强化学习方法，称为条件优势估计（CANON），旨在提升LLM在具有明确正确性标准的任务（如数学推理）中的推理能力。观察表明，熵或响应长度等训练指标与强化学习中不同的推理行为相关。现有方法通过奖励或优势塑造来整合这些先验知识，但通常依赖于手工设计的惩罚和偏好，且需要仔细调整超参数，否则可能导致偏差和失败。CANON通过在不预设方向的情况下放大目标指标的影响来解决这个问题。具体来说，CANON根据目标指标的值将采样响应分为两组，通过组间比较来衡量哪个指标趋势有助于更好的性能，并在同一组内识别更好的响应。实验结果表明，基于熵的CANON在数学推理和高复杂度逻辑任务中始终优于现有方法。当应用于响应长度时，CANON进一步提高了token效率，从而在性能-成本权衡中产生了更有利的帕累托前沿。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在强化学习中，如何有效利用先验知识（如熵、响应长度）来提升推理能力的问题。现有方法通常通过奖励或优势塑造来整合这些先验知识，但这些方法依赖于手工设计的惩罚和偏好，需要仔细调整超参数，并且容易引入偏差，导致训练失败。

核心思路：CANON的核心思路是在不预设目标指标（如熵或响应长度）的优化方向（更高更好还是更低更好）的情况下，自适应地学习哪个方向更有利于性能提升。它通过比较不同指标趋势下的响应表现，来确定更优的响应，从而避免了手动设置偏好可能导致的偏差。

技术框架：CANON的整体框架如下： 1. 采样响应：从LLM中采样多个响应。 2. 分组：根据目标指标（如熵或响应长度）的值，将采样响应分为两组：一组指标值较高，另一组指标值较低。 3. 组间比较：比较两组响应的性能，确定哪个指标趋势（更高或更低）与更好的性能相关。 4. 组内比较：在同一组内，比较响应的性能，选择更好的响应。 5. 优势估计：基于组间和组内比较的结果，估计每个响应的优势，用于更新LLM的策略。

关键创新：CANON最重要的技术创新点在于其条件优势估计方法，它能够自适应地学习目标指标的优化方向，而无需预先设定。这与现有方法依赖于手工设计的偏好和惩罚形成了鲜明对比，降低了超参数调整的难度，并减少了引入偏差的风险。

关键设计：CANON的关键设计包括： 1. 分组策略：如何选择分组的阈值，以确保两组响应具有足够的区分度。 2. 组间比较方法：如何有效地比较两组响应的性能，例如使用统计检验来判断两组响应的平均奖励是否存在显著差异。 3. 优势估计函数：如何设计优势估计函数，以充分利用组间和组内比较的信息，并确保优势估计的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于熵的CANON在数学推理和高复杂度逻辑任务中始终优于现有方法。具体来说，CANON在多个LLM上都取得了显著的性能提升，并且在应用于响应长度时，CANON进一步提高了token效率，从而在性能-成本权衡中产生了更有利的帕累托前沿。这些结果表明，CANON是一种有效且通用的方法，可以提升LLM在各种推理任务中的性能。

🎯 应用场景

CANON可应用于各种需要提升大型语言模型推理能力的场景，例如数学问题求解、逻辑推理、代码生成等。通过优化模型的推理过程，CANON可以提高模型在这些任务上的准确性和效率，从而在教育、科研、软件开发等领域发挥重要作用。此外，CANON在token效率方面的提升，有助于降低模型的使用成本，使其更易于部署和应用。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) for large language models (LLMs) has achieved remarkable progress in enhancing LLMs' reasoning capabilities on tasks with clear correctness criteria, such as mathematical reasoning tasks. Several training metrics, such as entropy or response length, have been observed to correlate with different reasoning behaviors in reinforcement learning. Prior approaches incorporate such priors through reward or advantage shaping, which often relies on hand-crafted penalties and preferences (e.g., higher-is-better or lower-is-better). However, without careful hyperparameter tuning, these directional priors can be overly biased and may lead to failure. To this end, we introduce Conditional advANtage estimatiON (CANON), amplifying the impact of the target metric without presuming its direction. Specifically, CANON regroups the sampled responses into two groups based on the higher or lower value of a target metric, measures which metric trend contributes to better performance through inter-group comparison, and identifies the better response within the same group. In summary, CANON based on entropy consistently outperforms prior methods across three LLMs on both math reasoning and high-complexity logic tasks. When applied to response length, CANON further improves token efficiency, yielding a more favorable Pareto frontier in the performance-cost trade-off.