Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization

📄 arXiv: 2604.07343v1 📥 PDF

作者: Qiyao Ma, Dechen Gao, Rui Cai, Boqi Zhao, Hanchu Zhou, Junshan Zhang, Zhe Zhao

分类: cs.CL, cs.LG

发布日期: 2026-04-08

💡 一句话要点

提出 Personalized RewardBench，用于评估奖励模型对个性化偏好的建模能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 个性化偏好 大型语言模型 评估基准 人机交互

📋 核心要点

  1. 现有奖励模型评估缺乏对个性化用户偏好的有效衡量，无法充分反映模型在实际应用中的表现。
  2. Personalized RewardBench通过构建基于用户特定规则的选择/拒绝响应对，来评估奖励模型对个性化偏好的建模能力。
  3. 实验表明，现有奖励模型在Personalized RewardBench上的表现不佳，且该基准与下游任务性能具有更高的相关性。

📝 摘要（中文）

在大型语言模型(LLM)的发展中，多元对齐已成为一个关键前沿，而奖励模型(RM)是捕获多样化人类价值观的核心机制。虽然通用响应质量的基准很普遍，但评估奖励模型在多大程度上考虑了个性化用户偏好仍然是一个开放的挑战。为了弥合这一差距，我们引入了Personalized RewardBench，这是一个旨在严格评估奖励模型建模个性化偏好能力的新基准。我们基于严格遵守（或违反）用户特定规则来构建选择和拒绝的响应对，确保偏好区分是专门为个人量身定制的。特别是，人工评估证实，配对之间的主要区分因素严格来说是个人的偏好，而两种响应都保持了很高的通用质量（例如，正确性、相关性和有用性）。广泛的测试表明，现有的最先进的奖励模型在个性化方面表现不佳，准确率最高仅为75.94%。至关重要的是，由于有效的奖励模型基准应该预测奖励模型在下游任务中的性能，我们进行的实验表明，与现有基线相比，我们的基准在Best-of-N (BoN)抽样和近端策略优化(PPO)中与下游性能表现出显着更高的相关性。这些发现将Personalized RewardBench确立为评估奖励模型在下游应用中性能的强大而准确的代理。

🔬 方法详解

问题定义：现有奖励模型评估基准主要关注通用响应质量，忽略了个性化用户偏好。这导致奖励模型在实际应用中，难以有效捕捉不同用户的价值观和需求，从而影响下游任务的性能。现有方法缺乏针对个性化偏好的评估机制，无法准确衡量奖励模型的泛化能力。

核心思路：Personalized RewardBench的核心思路是构建一个能够反映个性化用户偏好的评估基准。通过定义用户特定的规则（rubrics），并基于这些规则生成选择和拒绝的响应对，从而确保评估过程能够准确衡量奖励模型对不同用户偏好的建模能力。这样设计的目的是为了更真实地模拟实际应用场景，并为奖励模型的改进提供更有效的指导。

技术框架：Personalized RewardBench的整体框架包括以下几个主要步骤：1) 定义用户特定的规则（rubrics）；2) 基于这些规则，生成选择和拒绝的响应对；3) 使用这些响应对，评估奖励模型的性能；4) 将评估结果与下游任务的性能进行比较，以验证基准的有效性。该框架的核心在于规则的定义和响应对的生成，需要确保响应对之间的主要区分因素是用户的个性化偏好，而不是通用质量。

关键创新：Personalized RewardBench的关键创新在于其针对个性化偏好的评估机制。与现有基准相比，Personalized RewardBench能够更准确地衡量奖励模型对不同用户偏好的建模能力，从而为奖励模型的改进提供更有效的指导。此外，该基准还能够更好地预测奖励模型在下游任务中的性能，从而为实际应用提供更可靠的参考。

关键设计：在Personalized RewardBench的设计中，关键的技术细节包括：1) 用户特定规则的定义，需要确保规则能够准确反映用户的偏好；2) 响应对的生成，需要确保响应对之间的主要区分因素是用户的个性化偏好，而不是通用质量；3) 评估指标的选择，需要选择能够准确衡量奖励模型对个性化偏好建模能力的指标。此外，还需要进行人工评估，以验证响应对的质量和区分度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有最先进的奖励模型在Personalized RewardBench上的准确率仅为75.94%，表明其在个性化偏好建模方面存在显著不足。更重要的是，Personalized RewardBench与下游任务（如BoN抽样和PPO）的性能具有更高的相关性，证明了其作为奖励模型评估代理的有效性。

🎯 应用场景

Personalized RewardBench可应用于训练和评估更符合个性化用户偏好的大型语言模型。通过该基准，可以开发出能够更好地理解和满足不同用户需求的智能助手、推荐系统和对话系统。该研究有助于提升人机交互的质量和用户满意度，推动人工智能技术的广泛应用。

📄 摘要（原文）

Pluralistic alignment has emerged as a critical frontier in the development of Large Language Models (LLMs), with reward models (RMs) serving as a central mechanism for capturing diverse human values. While benchmarks for general response quality are prevalent, evaluating how well reward models account for individual user preferences remains an open challenge. To bridge this gap, we introduce Personalized RewardBench, a novel benchmark designed to rigorously assess reward models' capacity to model personalized preferences. We construct chosen and rejected response pairs based on strict adherence to (or violation of) user-specific rubrics, ensuring that preference distinctions are uniquely tailored to the individual. In particular, human evaluations confirm that the primary discriminative factor between pairs is strictly personal preference, with both responses maintaining high general quality (e.g., correctness, relevance and helpfulness). Extensive testing reveals that existing state-of-the-art reward models struggle significantly with personalization, peaking at an accuracy of just 75.94%. Crucially, because an effective reward model benchmark should predict a reward model's performance on downstream tasks, we conduct experiments demonstrating that our benchmark exhibits a significantly higher correlation with downstream performance in both Best-of-N (BoN) sampling and Proximal Policy Optimization (PPO) compared to existing baselines. These findings establish Personalized RewardBench as a robust and accurate proxy for evaluating reward models' performance in downstream applications.