Reinforcement Learning with Conditional Expectation Reward

📄 arXiv: 2603.10624v1 📥 PDF

作者: Changyi Xiao, Caijun Xu, Yixin Cao

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-03-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出条件期望奖励(CER)，利用大语言模型自身作为隐式验证器，提升通用推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 条件期望奖励 大语言模型 推理能力 隐式验证器

📋 核心要点

  1. 现有RLVR方法依赖手工规则，难以应对答案形式多样的通用推理任务。
  2. CER利用大语言模型自身作为隐式验证器，提供软性的、分级的奖励信号。
  3. 实验表明，CER在数学和通用推理任务中均有效，验证了其通用性。

📝 摘要（中文）

本文提出条件期望奖励(CER)方法，旨在解决基于可验证奖励的强化学习(RLVR)在通用推理领域应用受限的问题。RLVR依赖于手工设计的、领域特定的验证规则，这限制了其在自由形式答案且答案具有显著变异性的通用推理任务中的应用。CER利用大语言模型自身作为隐式验证器，无需外部验证器或辅助模型，适用于通用领域。CER定义为在生成答案的条件下，生成参考答案的期望可能性。与产生二元反馈的基于规则的验证器不同，CER提供软性的、分级的奖励信号，反映了不同程度的正确性，更适合答案正确性程度不同的任务。实验结果表明，CER在数学和通用领域的各种推理任务中均有效，是一种灵活通用的验证机制。

🔬 方法详解

问题定义：现有基于可验证奖励的强化学习(RLVR)方法，在提升大语言模型推理能力方面表现出色，尤其是在数学等领域。然而，这些方法依赖于手工构建的、领域特定的验证规则。这使得它们难以应用于通用推理领域，因为通用推理任务的答案通常是自由形式的，且有效答案可能具有显著的变异性，难以建立完整且准确的规则。因此，如何设计一种通用的、无需人工规则的奖励机制，是本文要解决的核心问题。

核心思路：本文的核心思路是利用大语言模型自身的能力，将其作为一种隐式的验证器。具体来说，给定一个生成的答案，我们使用大语言模型来评估生成参考答案的可能性。这种可能性越高，说明生成的答案越接近正确答案。这种方法避免了手工设计规则的需要，并且能够处理答案的变异性。

技术框架：CER方法的整体框架如下：首先，大语言模型生成一个答案。然后，将生成的答案和参考答案输入到同一个大语言模型中，计算在生成答案的条件下，生成参考答案的条件概率。这个条件概率被用作奖励信号，用于指导大语言模型的训练。整个过程不需要额外的验证模型或规则。

关键创新：最重要的技术创新点在于使用条件期望作为奖励函数。与传统的二元奖励函数不同，CER提供了一个软性的、分级的奖励信号。这种分级的奖励信号能够更准确地反映答案的正确程度，从而更好地指导模型的学习。此外，CER避免了手工设计规则的需要，使其能够应用于更广泛的领域。

关键设计：CER的关键设计在于条件概率的计算方式。论文中，条件概率是通过大语言模型的生成概率来近似的。具体来说，给定生成的答案A和参考答案R，条件概率P(R|A)被近似为大语言模型在生成A之后，继续生成R的概率。这个概率可以通过计算R的每个token在给定A和之前token的条件下的概率的乘积来得到。在实际应用中，可以使用各种大语言模型，例如GPT-3或LLaMA，来计算这个条件概率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CER方法在多个推理任务上都取得了显著的提升。例如，在数学推理任务中，CER能够显著提高模型的解题准确率。在通用推理任务中，CER也能够提高模型的答案质量。与传统的基于规则的奖励函数相比，CER能够提供更有效的奖励信号，从而更好地指导模型的学习。代码已开源。

🎯 应用场景

CER方法具有广泛的应用前景，可以应用于各种需要推理能力的自然语言处理任务中，例如问答系统、文本摘要、机器翻译等。该方法尤其适用于那些难以定义明确规则的领域，例如常识推理、开放域问答等。通过使用CER，可以提升大语言模型在这些任务中的性能，使其能够更好地理解和生成自然语言。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) has proven effective in enhancing the reasoning capabilities of large language models, particularly in domains such as mathematics where reliable rule-based verifiers can be constructed. However, the reliance on handcrafted, domain-specific verification rules substantially limits the applicability of RLVR to general reasoning domains with free-form answers, where valid answers often exhibit significant variability, making it difficult to establish complete and accurate rules. To address this limitation, we propose Conditional Expectation Reward (CER), which leverages the large language model itself as an implicit verifier, and is therefore applicable to general domains and eliminates the need for external verifiers or auxiliary models. CER is defined as the expected likelihood of generating the reference answer conditioned on the generated answer. In contrast to rule-based verifiers that yield binary feedback, CER provides a soft, graded reward signal that reflects varying degrees of correctness, making it better suited to tasks where answers vary in correctness. Experimental results demonstrate that CER is effective across a wide range of reasoning tasks, spanning both mathematical and general domains, indicating that CER serves as a flexible and general verification mechanism. The code is available at https://github.com/changyi7231/CER.