NOVER: Incentive Training for Language Models via Verifier-Free Reinforcement Learning

📄 arXiv: 2505.16022v2 📥 PDF

作者: Wei Liu, Siya Qi, Xinyu Wang, Chen Qian, Yali Du, Yulan He

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-05-21 (更新: 2025-09-02)

备注: 20 pages, 5 tables, 12 figures. accepted to EMNLP 2025

💡 一句话要点

提出NOVER：一种无验证器的强化学习框架，用于语言模型的激励训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 语言模型 激励训练 无验证器 监督微调

📋 核心要点

  1. 现有激励训练方法依赖外部验证器，限制了其在数学、编程等领域的应用。
  2. NOVER通过无验证器的强化学习，仅使用监督微调数据即可进行激励训练。
  3. 实验表明，NOVER优于同等规模的蒸馏模型，并在优化大型语言模型方面具有潜力。

📝 摘要（中文）

本文提出了一种名为NOVER（NO-VERifier Reinforcement Learning）的通用强化学习框架，该框架无需外部验证器，仅需标准的监督微调数据即可实现语言模型的激励训练。激励训练是一种强化学习范式，它仅基于语言模型输出的最终答案部分计算奖励，从而鼓励生成中间推理步骤。NOVER适用于广泛的文本到文本任务，并且性能优于相同规模的、从大型推理模型（如DeepSeek R1 671B）蒸馏得到的模型，提升幅度达7.7%。此外，NOVER的灵活性为优化大型语言模型提供了新的可能性，例如逆向激励训练。

🔬 方法详解

问题定义：现有激励训练方法依赖于外部验证器来评估语言模型生成的答案的质量，并以此作为奖励信号。然而，在许多领域，如数学和编程，构建可靠的外部验证器非常困难或成本高昂。即使使用奖励模型作为验证器，也需要大量高质量的标注数据进行训练，这限制了激励训练的广泛应用。因此，如何设计一种无需外部验证器的激励训练方法是一个关键问题。

核心思路：NOVER的核心思路是利用标准的监督微调数据来指导强化学习过程，而无需额外的验证器。它通过某种方式将监督学习的知识融入到强化学习的奖励函数中，使得模型在没有显式验证的情况下也能学习到正确的推理步骤。具体来说，它可能利用了监督数据中的正确答案来隐式地评估生成答案的质量。

技术框架：NOVER的整体框架是一个标准的强化学习流程，包括策略模型（Policy Model）和奖励函数（Reward Function）。策略模型是待训练的语言模型，负责生成文本。与传统方法不同的是，NOVER的奖励函数不依赖于外部验证器，而是基于监督微调数据进行设计。具体流程可能包括：1）使用策略模型生成文本；2）根据生成的文本和监督数据计算奖励；3）使用强化学习算法（如PPO）更新策略模型。

关键创新：NOVER最关键的创新在于它消除了对外部验证器的依赖，使得激励训练可以应用于更广泛的任务。它通过设计一种新的奖励函数，利用监督微调数据来指导强化学习过程，从而实现了无验证器的激励训练。这种方法降低了激励训练的成本和难度，并提高了其适用性。

关键设计：具体的奖励函数设计是NOVER的关键技术细节。虽然论文摘要没有明确说明奖励函数的具体形式，但可以推测它可能包含以下几个方面：1）与监督数据中的正确答案的相似度；2）生成文本的流畅度和连贯性；3）鼓励生成中间推理步骤的机制。此外，强化学习算法的选择和超参数的设置也会影响NOVER的性能。逆向激励训练的具体实现方式也是一个值得关注的技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NOVER在文本到文本任务上取得了显著的性能提升，优于相同规模的、从大型推理模型DeepSeek R1 671B蒸馏得到的模型，提升幅度达到7.7%。这一结果验证了NOVER的有效性，并表明它是一种有竞争力的语言模型训练方法。具体的实验设置、数据集和评估指标需要在论文中进一步查看。

🎯 应用场景

NOVER的应用场景非常广泛，包括但不限于：数学问题求解、代码生成、常识推理、知识问答等。它降低了激励训练的门槛，使得更多研究者和开发者可以利用强化学习来优化语言模型。此外，NOVER的灵活性还为探索新的优化策略（如逆向激励训练）提供了可能，有望进一步提升语言模型的性能和能力。

📄 摘要（原文）

Recent advances such as DeepSeek R1-Zero highlight the effectiveness of incentive training, a reinforcement learning paradigm that computes rewards solely based on the final answer part of a language model's output, thereby encouraging the generation of intermediate reasoning steps. However, these methods fundamentally rely on external verifiers, which limits their applicability to domains like mathematics and coding where such verifiers are readily available. Although reward models can serve as verifiers, they require high-quality annotated data and are costly to train. In this work, we propose NOVER, NO-VERifier Reinforcement Learning, a general reinforcement learning framework that requires only standard supervised fine-tuning data with no need for an external verifier. NOVER enables incentive training across a wide range of text-to-text tasks and outperforms the model of the same size distilled from large reasoning models such as DeepSeek R1 671B by 7.7 percent. Moreover, the flexibility of NOVER enables new possibilities for optimizing large language models, such as inverse incentive training.