Rubrics from the Task, Verdicts from Evidence: Pointwise Rubric Rewards with Tool-Augmented Judges

📄 arXiv: 2610.18766v1 📥 PDF

作者: Tianci Liu, Haoyu Wang

分类: cs.CL

发布日期: 2026-10-13

💡 一句话要点

提出ReVeR以解决现有评估模型的偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 评分标准 奖励模型 偏差问题 工具增强 指令推理 蒸馏训练 策略优化

📋 核心要点

  1. 现有的评分标准奖励模型存在偏差问题，限制了其通用性和有效性。
  2. ReVeR通过推理指令生成评分标准，结合工具增强的评判方法独立评估响应。
  3. 实验结果显示，ReVeR在平均偏好准确性和下游策略优化上均优于传统方法。

📝 摘要（中文）

基于评分标准的奖励模型（RMs）通过明确的标准评估响应。然而，现有方法通常从观察到的响应候选中推导标准，这引入了响应诱导的偏差，限制了评分标准的通用性。本文提出ReVeR，一种点对点评分标准RM，通过仅依赖指令推理来推导硬性规则和分级原则，并通过工具增强的评判独立评估响应。实验表明，ReVeR在平均偏好准确性上优于成对评分标准RMs，尤其在遵循指令方面，以及在测试时的扩展性和下游策略优化中表现更佳。

🔬 方法详解

问题定义：现有的评分标准奖励模型在评估响应时，常常依赖于观察到的响应候选，这导致了响应诱导的偏差，从而限制了评分标准的通用性。此外，传统的成对评判方法只能提供相对偏好，难以直接用于策略优化。

核心思路：ReVeR的核心思想是通过仅依赖指令推理来生成硬性规则和分级原则，从而独立于具体响应进行评估。这种方法旨在消除响应诱导的偏差，并提高评分标准的通用性。

技术框架：ReVeR的整体架构包括两个主要模块：一是通过指令推理生成评分标准，二是通过工具增强的评判方法独立评估响应。两个模块通过标签盲蒸馏进行训练，偏好标签仅用于过滤教师模型的输出。

关键创新：ReVeR的主要创新在于其点对点的评分标准设计，能够独立于响应进行评估，避免了传统方法中的偏差问题。这种设计使得评分标准的通用性和适用性得以提升。

关键设计：在技术细节上，ReVeR采用标签盲蒸馏的方法进行训练，确保生成的评分标准和评判过程不受具体响应的影响。此外，模型的损失函数和网络结构经过精心设计，以优化评分标准的生成和评估过程。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，ReVeR在平均偏好准确性上显著优于传统的成对评分标准RMs，尤其在遵循指令的任务中表现突出。此外，ReVeR在测试时的扩展性和下游策略优化能力也得到了显著提升，展示了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括教育评估、自动化内容审核和人机交互等。通过提升评分标准的通用性和评估的独立性，ReVeR能够在多种场景中提供更为准确和可靠的评估结果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Rubric-based reward models (RMs) evaluate responses against explicit criteria. However, existing methods often derive criteria from observed response candidates, introducing response-induced bias that may limit rubric generalizability. Their judges also struggle with mechanical constraints when relying on reading alone, and commonly used pairwise judges provide only relative preferences, complicating their direct use for policy optimization. We propose ReVeR, a pointwise rubric RM that derives hard rules and graded principles by reasoning about the instruction alone and evaluates responses independently through tool-augmented judging. Both components are trained through label-blind distillation, in which preference labels only filter a teacher's outputs, yielding ReVeR-Traces, a large-scale dataset of rubric-reasoning and judging trajectories. Experiments demonstrate that ReVeR outperforms pairwise rubric RMs in average preference accuracy, most clearly on instruction following, as well as in test-time scaling and downstream policy optimization. We further find that generator RL improves preference accuracy while reducing rubric fidelity, and that higher preference accuracy does not necessarily translate into better downstream policies. These findings highlight that rubric fidelity, preference accuracy, and downstream utility are distinct properties, shedding light on future RM research.