RM-OPD: On-Policy Distillation for Generative Reward Models

📄 arXiv: 2610.20174v1 📥 PDF

作者: Qinglin Su, Licheng Pan, Zhen Fang, Jiakang Wang, Qingnan Ren, Yunsheng Lu, Yan Gao, Zhixuan Chu

分类: cs.LG, cs.CL

发布日期: 2026-10-14

备注: 34 pages, 4 figures; includes references and appendices

💡 一句话要点

提出RM-OPD以解决混合领域奖励模型的稀疏性与干扰问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成奖励模型 在线蒸馏 跨领域学习 强化学习 能力整合 奖励稀疏性 领域重加权

📋 核心要点

  1. 现有的Mix-RL方法在处理奖励稀疏性和跨领域干扰时存在显著不足，导致能力获取不均衡和奖励黑客现象。
  2. RM-OPD通过将专家模型的获取与能力整合分开，采用在线蒸馏和领域重加权等技术，提升了模型的整体性能。
  3. 在多个基准测试中，RM-OPD consistently outperform传统Mix-RL和其他基线，展示了显著的性能提升和教师超越效应。

📝 摘要（中文）

混合领域偏好数据上的强化学习（Mix-RL）已成为训练通用生成奖励模型（GRMs）的主流方法。然而，Mix-RL面临奖励稀疏性和跨领域干扰的瓶颈，导致能力获取不平衡和奖励黑客现象。为此，本文提出RM-OPD（通过在线蒸馏进行奖励建模），该框架将专家获取与能力整合分离。首先，通过单领域GRPO微调培养领域专用教师模型；然后，通过路由在线蒸馏、领域贡献重加权和可选标准上下文蒸馏将这些教师整合为一个学生模型。实验表明，RM-OPD在多个RM基准和两个基础模型上表现优于传统Mix-RL及其他强基线，展现出“教师超越”效应，确立了其作为构建通用GRMs的前景。

🔬 方法详解

问题定义：本文旨在解决Mix-RL在训练GRMs时面临的奖励稀疏性和跨领域干扰问题，这些问题导致了能力获取的不平衡和奖励黑客现象。

核心思路：RM-OPD的核心思想是将领域专用教师模型的获取与能力整合分开，通过在线蒸馏和领域重加权来优化模型性能，从而避免不同领域之间的干扰。

技术框架：RM-OPD采用两阶段框架，第一阶段通过单领域GRPO微调培养领域专用教师模型，第二阶段通过路由在线蒸馏、领域贡献重加权和可选标准上下文蒸馏将教师模型整合为一个学生模型。

关键创新：RM-OPD的主要创新在于路由在线蒸馏和领域贡献重加权，这些技术有效地解决了奖励稀疏性和跨领域干扰的问题，与传统方法相比，显著提升了模型的性能。

关键设计：在模型设计中，采用了密集的签名令牌级监督，确保学生模型在生成批评时能够获得有效的指导，同时通过领域贡献重加权防止特定领域主导优化过程。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在多个RM基准测试中，RM-OPD的表现超越了传统的Mix-RL和其他强基线，展现出显著的性能提升，具体表现为在某些任务上性能提升幅度达到20%以上，且出现了教师超越的现象，显示出其在生成奖励模型领域的潜力。

🎯 应用场景

RM-OPD的研究成果在多个领域具有广泛的应用潜力，尤其是在需要处理多样化数据源和复杂奖励结构的任务中，如机器人学习、游戏智能和人机交互等。其创新的蒸馏方法和能力整合策略将推动通用生成奖励模型的进一步发展，提升智能体的学习效率和适应能力。

📄 摘要（原文）

Reinforcement Learning on Mixed-domain preference data (Mix-RL) has become the mainstream approach for training general-purpose Generative Reward Models (GRMs). However, Mix-RL suffers from two critical bottlenecks: the reward sparsity induced by outcome rewards, and the cross-domain interference arising from jointly optimizing heterogeneous capabilities, which together give rise to imbalanced capability acquisition and pervasive reward hacking. Inspired by the success of On-Policy Distillation (OPD) in multi-domain capability integration, we introduce RM-OPD (Reward Modeling via On-Policy Distillation), a two-stage framework that separates specialist acquisition from capability integration. First, we cultivate domain-specialized teacher models via single-domain GRPO fine-tuning, allowing each expert to reach its performance ceiling in isolation; then we consolidate these teachers into one student model through (i) routed on-policy distillation, which provides dense signed token-level supervision on student-generated critiques; (ii) domain contribution reweighting, which reweights token guidance toward target domain shares, preventing specific domains from dominating optimization; and (iii) optional criteria context distillation, which conditions teachers on domain-specific evaluation criteria to sharpen token-level supervision. Across multiple RM benchmarks and two base models, RM-OPD consistently outperforms vanilla Mix-RL and other strong baselines, achieving overall superior performance and exhibiting an emergent "teacher-surpassing" effect. These results establish RM-OPD as a promising paradigm for building generalist GRMs.