Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals

📄 arXiv: 2610.01548v1 📥 PDF

作者: Ryunyi Lee, Kangjun Noh, Somin Kim, Heedong Kim, Kyungwoo Song

分类: cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出Range-GRPO以解决奖励不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励优化 半监督学习 大型语言模型 不确定性建模 策略优化

📋 核心要点

  1. 现有方法在获取可靠的监督信号时面临高成本，尤其是在缺乏参考答案的领域。
  2. Range-GRPO通过将伪奖励表示为符合校准的奖励区间，结合有限的标记数据与未标记提示，提供了一种新的解决方案。
  3. 实验证明，Range-GRPO在分布内和分布外的平均性能上优于其他半监督方法，且训练资源需求更低。

📝 摘要（中文）

随着大型语言模型（LLMs）的应用扩展，后训练在适应下游任务中变得愈发重要。然而，获取可靠的监督信号成本高昂，尤其是在缺乏参考答案或可执行验证器的领域中。LLM-as-a-Judge为未标记的响应提供可扩展的伪奖励，但单一的分数无法明确表示奖励的不确定性。因此，本文提出将伪奖励表示为符合校准的奖励区间。我们提出了Range-GRPO，这是一种半监督后训练框架，结合了有限的标记数据和未标记的提示。在组相对策略优化（GRPO）中，学习信号依赖于每个回合组内的相对奖励比较。所提出的目标通过成对比较奖励区间，而不是将其简化为点奖励，从而使区间的不确定性影响这些信号的大小和方向。理论分析表明，当所有奖励区间收敛为点时，所提出的目标恢复了Dr.GRPO的优势。实验证明，Range-GRPO在评估的半监督方法中实现了最高的分布内和分布外平均性能，同时需要更少的训练资源。

🔬 方法详解

问题定义：本文旨在解决在缺乏可靠监督信号的情况下，如何有效利用有限的标记数据与未标记数据进行后训练的问题。现有方法通常依赖单一的点奖励，无法充分表达奖励的不确定性，导致学习信号不足。

核心思路：Range-GRPO的核心思想是将伪奖励表示为奖励区间，而非单一分数，从而使得奖励的不确定性能够影响学习信号的大小和方向。这种方法通过成对比较奖励区间，增强了学习过程的灵活性和准确性。

技术框架：Range-GRPO框架包括两个主要模块：一是利用有限的标记数据和未标记提示生成奖励区间，二是在组相对策略优化（GRPO）中，通过相对奖励比较来更新策略。整体流程为：首先生成伪奖励区间，然后在每个回合中进行相对比较，最后更新策略以优化奖励。

关键创新：本文的主要创新在于引入了奖励区间的成对比较机制，使得学习信号不仅依赖于奖励的绝对值，还考虑了奖励的不确定性。这与传统方法的点奖励机制形成了本质区别。

关键设计：在设计上，Range-GRPO采用了符合校准的奖励区间表示，结合了适当的损失函数以优化奖励区间的学习。此外，网络结构上可能采用了适应性调整的策略更新机制，以提高训练效率和效果。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，Range-GRPO在分布内和分布外的平均性能上均超过了其他半监督方法，具体表现为在多个基准数据集上实现了显著的性能提升，且训练资源需求显著降低，显示出其高效性和实用性。

🎯 应用场景

Range-GRPO的研究成果在多个领域具有潜在应用价值，尤其是在需要处理不确定性和缺乏标记数据的任务中，如自然语言处理、对话系统和推荐系统等。通过提高模型在这些领域的适应能力，Range-GRPO有望推动相关技术的进步和应用落地。

📄 摘要（原文）

As the use of large language models (LLMs) expands, post-training has become increasingly important for adapting them to downstream tasks. However, obtaining reliable supervision remains costly, especially in domains without reference answers or executable verifiers. LLM-as-a-Judge provides scalable pseudo-rewards for unlabeled responses, but a single point score does not explicitly represent reward uncertainty. This motivates representing pseudo-rewards as conformally calibrated reward ranges. We propose Range-GRPO, a semi-supervised post-training framework that combines limited labeled data with unlabeled prompts. In Group Relative Policy Optimization (GRPO), learning signals depend on relative reward comparisons within each rollout group. The proposed objective compares reward ranges pairwise rather than reducing them to point rewards, allowing interval uncertainty to affect both the magnitude and direction of these signals. Our theoretical analysis characterizes this distinction and shows that the proposed objective recovers the Dr.GRPO advantage when all reward ranges collapse to points. Empirically, Range-GRPO achieves the highest in-distribution and out-of-distribution average performance among the evaluated semi-supervised methods while requiring fewer training resources.