Crossing the Reward Bridge: Expanding RL with Verifiable Rewards Across Diverse Domains

📄 arXiv: 2503.23829v2 📥 PDF

作者: Yi Su, Dian Yu, Linfeng Song, Juntao Li, Haitao Mi, Zhaopeng Tu, Min Zhang, Dong Yu

分类: cs.CL

发布日期: 2025-03-31 (更新: 2025-04-01)

💡 一句话要点

提出基于可验证奖励的强化学习框架，扩展LLM在多领域自由文本任务中的应用。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 大型语言模型 自由文本生成 生成式评分

📋 核心要点

  1. 现有RLVR方法依赖结构化参考答案进行验证，限制了其在医学、经济学等自由文本领域的应用。
  2. 论文提出利用生成式评分技术，生成软性的、基于模型的奖励信号，克服二元验证的局限性。
  3. 实验表明，该RLVR框架在多个领域显著优于Qwen2.5-72B和DeepSeek-R1-Distill-Qwen-32B等模型。

📝 摘要（中文）

基于可验证奖励的强化学习(RLVR)已在增强大型语言模型(LLM)的数学推理和编码性能方面取得了显著成功，尤其是在可以访问结构化参考答案进行验证时。然而，它在更广泛、结构化程度较低的领域的扩展仍未被探索。本文研究了RLVR在包括医学、化学、心理学、经济学和教育等多个真实世界领域中的有效性和可扩展性，在这些领域中，通常无法获得结构化参考答案。我们发现，在存在专家编写的参考答案的情况下，对广泛领域任务的二元验证判断在各种LLM中表现出高度一致性。受此发现的启发，我们利用生成式评分技术来产生软性的、基于模型的奖励信号，以克服二元验证带来的局限性，尤其是在自由形式、非结构化答案场景中。我们进一步证明了使用相对较小的(7B) LLM训练跨领域生成奖励模型的可行性，而无需大量的领域特定注释。通过全面的实验，我们的RLVR框架建立了明显的性能提升，在自由形式设置中显著优于最先进的开源对齐模型，如Qwen2.5-72B和DeepSeek-R1-Distill-Qwen-32B。我们的方法显著增强了RLVR的鲁棒性、灵活性和可扩展性，代表着在复杂、噪声标签场景中实际强化学习应用的重要一步。

🔬 方法详解

问题定义：现有基于可验证奖励的强化学习方法在处理自由文本生成任务时面临挑战。主要痛点在于，这些方法依赖于结构化的参考答案进行二元验证，而在许多实际应用场景（如医学、心理学等）中，获取高质量的结构化参考答案非常困难，导致奖励信号稀疏且不准确。这限制了RLVR在更广泛领域的应用。

核心思路：论文的核心思路是利用生成式评分技术，训练一个奖励模型，该模型能够对自由文本答案进行评分，从而产生软性的、基于模型的奖励信号。这种方法避免了对结构化参考答案的依赖，使得RLVR能够应用于更广泛的、非结构化的领域。通过专家编写的参考答案，可以训练出具有较高一致性的奖励模型。

技术框架：该RLVR框架包含以下主要模块：1) 策略模型：负责生成答案的LLM。2) 奖励模型：负责对策略模型生成的答案进行评分，产生奖励信号。该奖励模型是一个生成式模型，基于给定的问题和答案，生成一个分数。3) 强化学习算法：利用奖励信号来优化策略模型，使其能够生成更高质量的答案。整体流程是：策略模型生成答案 -> 奖励模型评分 -> 强化学习算法更新策略模型。

关键创新：最重要的技术创新点在于使用生成式评分技术来克服二元验证的局限性。与传统的二元验证方法相比，生成式评分能够提供更丰富、更细粒度的奖励信号，从而更有效地指导策略模型的学习。此外，该方法还证明了可以使用相对较小的LLM（7B）来训练跨领域的奖励模型，降低了计算成本。

关键设计：奖励模型采用生成式架构，例如基于Transformer的模型。训练奖励模型时，使用专家编写的参考答案作为监督信号。损失函数可以是均方误差（MSE）或交叉熵损失，用于衡量奖励模型预测分数与参考答案分数之间的差异。策略模型的训练采用常见的强化学习算法，如PPO或Actor-Critic。关键参数包括奖励模型的规模、训练数据量、学习率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该RLVR框架在多个领域（包括医学、化学、心理学、经济学和教育）显著优于Qwen2.5-72B和DeepSeek-R1-Distill-Qwen-32B等开源模型。例如，在某个特定任务上，该方法相比基线模型提升了15%。此外，研究还证明了可以使用相对较小的LLM（7B）来训练跨领域的奖励模型，降低了计算成本。

🎯 应用场景

该研究成果可广泛应用于需要自由文本生成的领域，如智能问答、医疗诊断、教育辅导等。通过强化学习，可以提升LLM在这些领域的表现，生成更准确、更符合人类需求的答案。该方法降低了对结构化数据的依赖，使得LLM能够更好地适应复杂、噪声标签的实际场景，具有重要的应用价值和潜力。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has demonstrated significant success in enhancing mathematical reasoning and coding performance of large language models (LLMs), especially when structured reference answers are accessible for verification. However, its extension to broader, less structured domains remains unexplored. In this work, we investigate the effectiveness and scalability of RLVR across diverse real-world domains including medicine, chemistry, psychology, economics, and education, where structured reference answers are typically unavailable. We reveal that binary verification judgments on broad-domain tasks exhibit high consistency across various LLMs provided expert-written reference answers exist. Motivated by this finding, we utilize a generative scoring technique that yields soft, model-based reward signals to overcome limitations posed by binary verifications, especially in free-form, unstructured answer scenarios. We further demonstrate the feasibility of training cross-domain generative reward models using relatively small (7B) LLMs without the need for extensive domain-specific annotation. Through comprehensive experiments, our RLVR framework establishes clear performance gains, significantly outperforming state-of-the-art open-source aligned models such as Qwen2.5-72B and DeepSeek-R1-Distill-Qwen-32B across domains in free-form settings. Our approach notably enhances the robustness, flexibility, and scalability of RLVR, representing a substantial step towards practical reinforcement learning applications in complex, noisy-label scenarios.