Soft-SVeRL: Self-Verified Reinforcement Learning with Soft Rewards

📄 arXiv: 2605.28561v1 📥 PDF

作者: Saurabh Dash, Pierre Clavier, John Dang, Matthias Galle, Marzieh Fadaee, Ahmet Üstün, Beyza Ermis

分类: cs.CL, cs.LG

发布日期: 2026-05-27

💡 一句话要点

提出Soft-SVeRL，利用软奖励和自验证提升强化学习在部分可验证任务中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 软奖励 自验证 指令遵循 大型语言模型 奖励塑造

📋 核心要点

  1. 现有强化学习方法在部分可验证任务中面临挑战，难以处理多重需求和不唯一参考答案的情况。
  2. Soft-RLVR框架将提示分解为需求清单，利用LLM验证器生成软奖励，从而提供更密集的训练信号。
  3. Soft-SVeRL通过策略自验证提升性能，但需稳定化以避免奖励膨胀。实验表明该方法在指令遵循任务中表现优异。

📝 摘要（中文）

本文提出Soft-RLVR框架，用于从分解的、学习的验证信号中进行强化学习。Soft-RLVR将每个提示分解为原子需求清单，使用LLM验证器逐项评估候选响应，并基于生成的软奖励进行训练。基于清单的奖励将稀疏的通过/失败监督转化为更密集的局部奖励信号。本文形式化了这种权衡，并确定了基于清单的验证比整体验证提供更可靠的RL训练信号的条件。进一步提出了Soft-SVeRL，一种Soft-RLVR的自验证变体，其中策略也充当验证器。实验表明，自验证容易因过度宽松的自我判断而导致奖励膨胀，需要显式稳定化来防止这种崩溃。在具有基于规则的ground-truth评估的受控指令遵循环境中，仅使用学习的验证器奖励，基于清单的Soft-RLVR将IFEval提高了高达11.1个点。实验还表明，验证器质量和清单质量都会影响下游RL结果，并且显式稳定化对于有效的自验证至关重要。

🔬 方法详解

问题定义：现有基于可验证奖励的强化学习（RLVR）方法在数学和代码等领域取得了进展，但许多重要任务只能部分验证。这些任务通常包含多个需求，响应可能只满足部分需求，或者不存在唯一的参考答案。现有的整体验证方法无法提供细粒度的反馈，导致训练效率低下。

核心思路：本文的核心思路是将复杂的验证任务分解为一系列更小的、原子性的验证任务，并为每个子任务分配一个软奖励。通过这种方式，即使响应未能完全满足所有要求，也能获得部分奖励，从而提供更密集的训练信号。此外，引入自验证机制，让策略本身参与验证过程，进一步提升学习效率。

技术框架：Soft-RLVR框架包含以下几个主要模块：1) 提示分解模块：将原始提示分解为一系列原子性的需求清单。2) LLM验证器：使用大型语言模型（LLM）作为验证器，对候选响应逐项评估需求清单中的每个条目，并给出相应的软奖励。3) 强化学习代理：基于软奖励训练策略，生成满足提示要求的响应。Soft-SVeRL在此基础上增加了自验证模块，策略同时充当验证器。

关键创新：本文的关键创新在于：1) 提出了基于清单的软奖励机制，将稀疏的二元奖励转化为密集的局部奖励，提高了训练效率。2) 引入了自验证机制，让策略参与验证过程，进一步提升学习效率。3) 形式化了清单验证中的权衡，并确定了其优于整体验证的条件。4) 提出了稳定化方法，防止自验证过程中的奖励膨胀。

关键设计：在Soft-RLVR中，清单的质量和验证器的质量至关重要。清单需要尽可能全面地覆盖提示的要求，而验证器需要能够准确地评估响应是否满足每个需求。在Soft-SVeRL中，需要仔细设计稳定化策略，以防止策略过度自信，导致奖励膨胀。具体而言，可以通过引入正则化项，惩罚策略的过度自信行为。此外，还可以使用滑动平均等技术，平滑奖励信号，减少噪声的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在指令遵循任务中，基于清单的Soft-RLVR方法相比于基线方法，IFEval指标提升了高达11.1个点。同时，实验验证了验证器质量和清单质量对下游RL结果的影响，并证明了显式稳定化对于有效自验证的必要性。这些结果表明，Soft-SVeRL是一种有效的强化学习方法，能够显著提升在部分可验证任务中的性能。

🎯 应用场景

该研究成果可应用于各种需要指令遵循和部分可验证反馈的场景，例如机器人控制、对话系统、代码生成等。通过提供更细粒度的奖励信号，可以显著提升强化学习在这些复杂任务中的性能。未来，该方法有望应用于教育领域，为学生提供个性化的学习反馈。

📄 摘要（原文）

Reinforcement Learning from Verifiable Rewards (RLVR) has improved language models in domains such as mathematics and code, where correctness can be checked automatically. However, many important tasks are only partially verifiable: prompts contain multiple requirements, responses may satisfy some but not all of them, or no single reference answer might exist. We introduce Soft-RLVR, a framework for reinforcement learning from decomposed, learned verification signals. Soft-RLVR converts each prompt into a checklist of atomic requirements, scores candidate responses item by item with an LLM verifier, and trains on the resulting soft reward. Checklist-based rewards turn sparse pass/fail supervision into a denser partial-credit signal, but they also introduce a tradeoff: averaging item-level judgments can reduce verifier noise, while partial credit can reward incomplete responses. We formalize this tradeoff and identify conditions under which checklist-based verification gives a more reliable RL training signal than holistic verification. We further introduce Soft-SVeRL, a self-verifying variant of Soft-RLVR in which the policy also acts as the verifier. We show that self-verification is prone to reward inflation from overly permissive self-judgments, and that explicit stabilization is needed to prevent this collapse. In a controlled instruction-following setting with rule-based ground-truth evaluation, checklist-based Soft-RLVR improves IFEval by up to 11.1 points using only learned verifier rewards. Our experiments further show that verifier quality and checklist quality both affect downstream RL outcomes, and that explicit stabilization is essential for effective self-verification.