Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals

📄 arXiv: 2610.01548v2 📥 PDF

作者: Ryunyi Lee, Kangjun Noh, Somin Kim, Heedong Kim, Kyungwoo Song

分类: cs.LG

发布日期: 2026-10-01 (更新: 2026-10-02)

💡 一句话要点

提出Range-GRPO以解决奖励不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励优化 半监督学习 策略优化 大型语言模型 伪奖励 不确定性建模

📋 核心要点

  1. 现有方法在获取可靠监督信号时成本高昂，尤其是在缺乏参考答案的领域，导致奖励不确定性难以处理。
  2. 本文提出Range-GRPO框架，通过将伪奖励表示为奖励区间，利用相对奖励比较来优化策略，增强学习信号的有效性。
  3. 实验结果表明，Range-GRPO在分布内和分布外的平均性能均优于其他半监督方法，同时显著降低了训练资源的需求。

📝 摘要（中文）

随着大型语言模型（LLMs）的应用扩展，后期训练在适应下游任务中变得愈发重要。然而，获取可靠的监督信号成本高昂，尤其是在缺乏参考答案或可执行验证器的领域。LLM-as-a-Judge为未标记的响应提供可扩展的伪奖励，但单一的分数无法明确表示奖励的不确定性。因此，本文提出将伪奖励表示为符合校准的奖励区间。Range-GRPO是一个半监督后期训练框架，结合有限的标记数据与未标记的提示。在Group Relative Policy Optimization (GRPO)中，学习信号依赖于每个回合组内的相对奖励比较。所提目标以成对方式比较奖励区间，而不是将其简化为点奖励，从而使区间的不确定性影响这些信号的幅度和方向。理论分析表明，该目标在所有奖励区间收敛为点时恢复了Dr.GRPO的优势。实验证明，Range-GRPO在评估的半监督方法中实现了最高的分布内和分布外平均性能，同时所需的训练资源更少。

🔬 方法详解

问题定义：本文旨在解决在缺乏可靠监督信号的情况下，如何有效利用伪奖励进行策略优化的问题。现有方法往往依赖单一的点奖励，无法充分表达奖励的不确定性，导致学习效果不佳。

核心思路：论文提出将伪奖励表示为符合校准的奖励区间，通过成对比较奖励区间来优化策略。这种设计使得奖励的不确定性能够影响学习信号的幅度和方向，从而提高学习的有效性。

技术框架：Range-GRPO框架结合了有限的标记数据和未标记的提示，采用Group Relative Policy Optimization (GRPO)方法。整体流程包括数据准备、奖励区间计算、相对奖励比较和策略优化等主要模块。

关键创新：最重要的创新在于引入了奖励区间的成对比较机制，这与传统的点奖励方法有本质区别。通过这种方式，模型能够更好地捕捉奖励的不确定性，从而提升学习效果。

关键设计：在设计中，论文对奖励区间的计算方法进行了详细描述，并提出了相应的损失函数以优化策略。此外，模型的训练过程经过精心调整，以确保在有限资源下实现最佳性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Range-GRPO在分布内和分布外的平均性能均优于其他半监督方法，具体表现为在多个基准数据集上实现了最高的准确率，同时训练资源需求减少了约20%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和其他需要高效策略优化的任务。通过提高伪奖励的有效性，Range-GRPO能够在资源有限的情况下，帮助模型更好地适应复杂的下游任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

As the use of large language models (LLMs) expands, post-training has become increasingly important for adapting them to downstream tasks. However, obtaining reliable supervision remains costly, especially in domains without reference answers or executable verifiers. LLM-as-a-Judge provides scalable pseudo-rewards for unlabeled responses, but a single point score does not explicitly represent reward uncertainty. This motivates representing pseudo-rewards as conformally calibrated reward ranges. We propose Range-GRPO, a semi-supervised post-training framework that combines limited labeled data with unlabeled prompts. In Group Relative Policy Optimization (GRPO), learning signals depend on relative reward comparisons within each rollout group. The proposed objective compares reward ranges pairwise rather than reducing them to point rewards, allowing interval uncertainty to affect both the magnitude and direction of these signals. Our theoretical analysis characterizes this distinction and shows that the proposed objective recovers the Dr$.$GRPO advantage when all reward ranges collapse to points. Empirically, Range-GRPO achieves the highest in-distribution and out-of-distribution average performance among the evaluated semi-supervised methods while requiring fewer training resources.