CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling

📄 arXiv: 2603.08035v1 📥 PDF

作者: Dengcan Liu, Fengkai Yang, Xiaohan Wang, Shurui Yan, Jiajun Chai, Jiahao Li, Yikun Ban, Zhendong Mao, Wei Lin, Guojun Yin

分类: cs.AI, cs.LG

发布日期: 2026-03-09

💡 一句话要点

提出CDRRM，通过对比驱动的准则生成，实现可靠且可解释的奖励建模。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励建模 对比学习 准则生成 语言模型对齐 可解释性 偏好学习 数据效率

📋 核心要点

  1. 传统奖励模型可解释性差，依赖大量专家标注，且存在冗长和位置偏见等问题。
  2. CDRRM通过对比学习识别关键判别因素，并将其合成为紧凑的准则，指导偏好判断。
  3. 实验表明，CDRRM在多个基准测试中达到SOTA，有效缓解偏见，并具有卓越的数据效率。

📝 摘要（中文）

奖励建模对于将大型语言模型（LLM）与人类偏好对齐至关重要，但传统的奖励模型存在可解释性差和严重依赖昂贵的专家标注的问题。虽然最近基于准则的方法提高了评估透明度，但它们缺乏系统的质量控制，导致产生噪声和冗余的标准，未能减轻LLM评估器中持续存在的偏见（例如，冗长、位置），并造成可扩展性与可靠性之间的权衡。为了解决这些限制，我们提出了CDRRM（对比驱动的准则奖励模型），这是一个建立在新的对比-合成范式上的框架，用于高质量的准则生成和引导偏好判断。CDRRM首先对偏好对进行多维对比分析，以识别因果判别因素，然后将这些见解综合成紧凑的、上下文感知的准则，以指导偏好判断。在三个权威基准（RewardBench、RMBench、RMB）上的大量实验表明，CDRRM在不同领域实现了最先进的性能，并有效减轻了上述评估偏差。值得注意的是，我们的方法提供了卓越的数据效率：仅在3k高质量样本上训练准则生成器，就能使冻结的预训练判断模型优于完全微调的基线。这项工作为奖励建模提供了一条可扩展、可解释和数据高效的路径。

🔬 方法详解

问题定义：论文旨在解决现有奖励模型可解释性差、专家标注成本高、以及评估过程中存在的偏见（如冗长偏见、位置偏见）等问题。现有方法，特别是基于准则的方法，虽然提高了透明度，但缺乏有效的质量控制，导致准则噪声大、冗余，无法有效缓解偏见，并且在可扩展性和可靠性之间存在权衡。

核心思路：CDRRM的核心思路是“对比-合成”范式。首先，通过对比学习，从偏好对中提取出具有判别性的因素，这些因素是导致不同偏好的关键原因。然后，将这些因素合成为简洁、上下文相关的准则，用于指导奖励模型的偏好判断。这种方法旨在提高准则的质量和相关性，从而提高奖励模型的性能和可解释性。

技术框架：CDRRM框架主要包含两个阶段：对比分析阶段和准则合成阶段。在对比分析阶段，模型对偏好对进行多维度的对比，识别出导致偏好差异的因果因素。在准则合成阶段，模型将这些因素整合为紧凑的、上下文感知的准则。这些准则随后被用于指导奖励模型的偏好判断。整体流程是先通过对比学习提取关键信息，再将信息提炼成准则，最后利用准则进行偏好判断。

关键创新：CDRRM的关键创新在于其“对比-合成”范式。传统的准则生成方法往往缺乏系统性的质量控制，而CDRRM通过对比学习，能够更有效地识别出具有判别性的因素，从而生成更高质量的准则。此外，CDRRM还能够有效缓解评估过程中存在的偏见，提高奖励模型的鲁棒性。与现有方法相比，CDRRM在数据效率、可解释性和性能方面都具有优势。

关键设计：CDRRM的关键设计包括：1) 多维对比分析方法，用于识别因果判别因素；2) 上下文感知的准则合成方法，用于生成紧凑且相关的准则；3) 数据高效的训练策略，仅需少量高质量样本即可训练准则生成器。具体的损失函数和网络结构细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CDRRM在RewardBench、RMBench和RMB三个基准测试中取得了SOTA性能，证明了其在不同领域的有效性。更重要的是，CDRRM展现了卓越的数据效率，仅使用3k高质量样本训练的准则生成器，就能使冻结的预训练判断模型超越完全微调的基线模型。这表明CDRRM能够显著降低奖励建模的成本，并提高模型的泛化能力。

🎯 应用场景

CDRRM可应用于各种需要对大型语言模型进行对齐的任务，例如对话系统、文本生成、代码生成等。通过提供更可靠和可解释的奖励信号，CDRRM可以帮助LLM更好地理解人类偏好，从而生成更符合人类期望的内容。该研究的实际价值在于降低了奖励建模的成本，提高了奖励模型的性能和可解释性，并为LLM的对齐提供了一种更有效的方法。

📄 摘要（原文）

Reward modeling is essential for aligning Large Language Models(LLMs) with human preferences, yet conventional reward models suffer from poor interpretability and heavy reliance on costly expert annotations. While recent rubric-based approaches enhance evaluation transparency, they lack systematic quality control, yielding noisy and redundant criteria, failing to mitigate persistent biases (e.g., verbosity, position) in LLM evaluators, and creating a scalability-reliability trade-off. To address these limitations, we propose CDRRM (Contrast-Driven Rubric Reward Model), a framework built on a novel Contrast-then-Synthesis paradigm for high-quality rubric generation and guided preference judgment. CDRRM first conducts multi-dimensional contrastive profiling on preference pairs to identify causal discriminative factors, then synthesizes these insights into compact, context-aware rubrics to guide preference judg- ments. Extensive experiments on three authoritative benchmarks (RewardBench, RMBench, RMB) demonstrate that CDRRM achieves state-of-the-art performance across diverse domains and effectively mitigates aforementioned evaluation biases. Notably, our approach delivers exceptional data efficiency: training the rubric generator on only 3k high-quality samples empowers a frozen pre-trained judge model to outperform fully fine-tuned baselines. This work offers a scalable, interpretable, and data-efficient path for reward modeling.