Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards

📄 arXiv: 2605.14539v1 📥 PDF

作者: Mengjie Ren, Jie Lou, Boxi Cao, Xueru Wen, Hongyu Lin, Xianpei Han, Le Sun, Xing Yu, Yaojie Lu

分类: cs.CL

发布日期: 2026-05-14

备注: Work on progress

💡 一句话要点

提出CIPO，利用失败轨迹进行纠正学习，提升LLM推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 推理能力 纠错学习 策略优化

📋 核心要点

  1. RLVR训练面临稀疏奖励和弱信用分配问题，导致模型难以有效利用失败轨迹中蕴含的有用信息。
  2. CIPO将on-policy的失败轨迹转化为纠正导向的监督信号，无需额外信息，提升学习效率。
  3. 实验表明，CIPO在数学推理和代码生成任务上显著优于现有方法，并提升了模型的内在推理能力。

📝 摘要（中文）

本文提出了一种面向纠正的策略优化方法（CIPO），旨在解决基于可验证奖励的强化学习（RLVR）训练中，由于稀疏二元奖励和弱信用分配导致的优化信号模糊和失败轨迹信息未充分利用的问题。CIPO通过将on-policy的失败轨迹转化为面向纠正的监督信号，无需依赖外部信号，从而改进学习效果并增强模型自我纠错能力。在涵盖数学推理和代码生成的11个基准测试中，CIPO始终显著优于强大的基线模型，在推理和纠错性能方面均有提升。此外，CIPO还带来了更强的pass@K增益，表明它提高了模型的内在推理能力，而不仅仅是在现有正确答案上重新分配概率。

🔬 方法详解

问题定义：现有基于可验证奖励的强化学习（RLVR）方法在训练大型语言模型时，面临着奖励信号稀疏和信用分配困难的问题。这意味着模型很难从失败的轨迹中学习，导致大量有价值的信息被浪费，最终影响模型的推理能力。现有方法无法有效利用这些失败的尝试，限制了模型的学习效率和最终性能。

核心思路：CIPO的核心思想是将模型自身的失败尝试转化为有用的监督信号。具体来说，它将on-policy的失败轨迹视为模型需要纠正的错误，并利用这些轨迹来训练模型，使其能够更好地纠正自身的错误。这种方法无需依赖任何外部信号，而是完全基于模型自身的经验进行学习。

技术框架：CIPO的整体框架是在标准的RLVR框架之上进行扩展。它包含两个主要部分：一是标准的RLVR目标，用于鼓励模型生成正确的答案；二是纠正导向的监督目标，用于指导模型纠正自身的错误。这两个目标被联合优化，从而使模型能够在学习生成正确答案的同时，也学习如何纠正自身的错误。

关键创新：CIPO最重要的创新点在于它能够利用模型自身的失败尝试来生成监督信号。与传统的RLVR方法不同，CIPO并不只是简单地忽略失败的轨迹，而是将其转化为有用的信息，用于指导模型的学习。这种方法可以有效地解决奖励信号稀疏和信用分配困难的问题，从而提高模型的学习效率和最终性能。

关键设计：CIPO的关键设计在于如何将失败轨迹转化为纠正导向的监督信号。具体来说，CIPO使用失败轨迹中的状态作为输入，并将正确的答案作为目标，训练模型预测正确的答案。损失函数通常采用交叉熵损失或类似的损失函数，用于衡量模型预测的答案与正确答案之间的差异。此外，CIPO还可能使用一些技巧来提高训练的稳定性，例如梯度裁剪和学习率衰减。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CIPO在11个基准测试中始终显著优于强大的基线模型。例如，在数学推理任务中，CIPO的性能提升了10%以上。此外，CIPO还带来了更强的pass@K增益，表明它提高了模型的内在推理能力，而不仅仅是在现有正确答案上重新分配概率。这些结果表明，CIPO是一种有效的方法，可以显著提高大型语言模型的推理能力和纠错能力。

🎯 应用场景

CIPO具有广泛的应用前景，可以应用于各种需要大型语言模型进行推理和决策的任务中，例如数学问题求解、代码生成、问答系统等。通过提高模型的推理能力和纠错能力，CIPO可以帮助模型更好地完成这些任务，并提高其在实际应用中的可靠性和实用性。此外，CIPO的思想也可以推广到其他类型的强化学习问题中，例如机器人控制和游戏AI。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as an effective paradigm for improving the reasoning capabilities of large language models. However, RLVR training is often hindered by sparse binary rewards and weak credit assignment, resulting in ambiguous optimization signals and underutilization of the useful information embedded in failed trajectories. To address this challenge, we propose Correction-Oriented Policy Optimization (CIPO), a simple and effective extension to RLVR that converts on-policy failed trajectories into correction-oriented supervision, without relying on any external signals. By jointly optimizing correction samples derived from the model's own failed attempts together with the standard RLVR objective, CIPO improves learning effectiveness while explicitly enhancing the model's ability to correct its own errors. Extensive experiments across 11 benchmarks spanning mathematical reasoning and code generation demonstrate that CIPO consistently and significantly outperforms strong baselines in both reasoning and correction performance. Moreover, CIPO yields stronger pass@K gains, indicating that it improves the model's intrinsic reasoning capacity rather than merely redistributing probability mass over existing correct answers.