MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
作者: Yuxuan Fan, Jaehong Yoon
分类: cs.AI
发布日期: 2026-10-02
备注: Project page:https://metarubric.github.io/
💡 一句话要点
提出MetaRubric以解决评估标准基础强化学习中的空洞信用问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 评估标准 空洞信用 医疗问答 多模态学习 策略优化 证据感知
📋 核心要点
- 现有的基于评估标准的强化学习方法存在空洞信用问题，导致评估者在缺乏必要信息时仍给予高分。
- 本文提出MetaRubric，通过证据感知的策略优化与响应引导的评估标准调整，解决了空洞信用问题。
- 实验结果显示，MetaRubric在PubMedQA上准确率提升6.00至20.40个百分点，并在其他医疗基准上也取得了进一步的提升。
📝 摘要（中文）
基于评估标准的强化学习通过为开放式任务分配部分信用，扩展了奖励驱动的优化。然而，评估者可能在缺乏必要信息的情况下给予高分，这种现象称为空洞信用。为了解决这一问题，本文提出了MetaRubric，交替进行证据感知的策略优化与响应引导的评估标准调整。通过在每个提示中改变一个任务相关的事实，构建反事实对照。在策略优化过程中，仅在响应包含足够证据时才分配信用。实验结果表明，MetaRubric在多个基准上显著提升了准确性，尤其在PubMedQA上提高了6.00至20.40个百分点。
🔬 方法详解
问题定义：本文旨在解决基于评估标准的强化学习中的空洞信用问题，即评估者在缺乏必要信息时仍给予高分，影响了模型的学习效果。
核心思路：MetaRubric通过交替进行证据感知的策略优化与响应引导的评估标准调整，确保只有在响应包含足够证据时才分配信用，从而避免空洞信用的影响。
技术框架：整体流程包括两个主要阶段：首先进行策略优化，随后根据当前策略的响应调整评估标准。每个阶段之间，调整标准的权重以更好地应对观察到的策略错误。
关键创新：MetaRubric的创新在于引入了反事实对照的构建方法，通过改变任务相关的事实来评估响应的有效性，这一方法与传统的静态评估方法有本质区别。
关键设计：在策略优化过程中，信用分配依赖于响应的证据充分性；在每个阶段结束后，依据当前策略的表现调整评估标准的权重，以更好地反映模型的学习需求。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，MetaRubric在PubMedQA上实现了6.00至20.40个百分点的准确率提升，相较于静态评估的GRPO方法表现出显著优势。此外，在HealthBench-Hard和其他多模态医疗基准上也取得了进一步的性能提升，显示出其广泛的适用性和有效性。
🎯 应用场景
MetaRubric的研究成果在医疗领域具有广泛的应用潜力，尤其是在需要开放式回答的任务中，如医学问答系统和临床决策支持。通过提升模型的评估准确性，能够更好地辅助医生和医疗专业人员做出决策，进而提高患者的治疗效果。未来，该方法还可以扩展到其他领域的开放式任务中，提升智能系统的可靠性和有效性。
📄 摘要（原文）
Rubric-based reinforcement learning extends reward-driven optimization to open-ended tasks by assigning partial credit to individual response requirements. However, rubric judges can assign a high criterion score even when the information or action it requires is absent from the response, a failure mode we term Vacuous Credit. Such awards persist after the required information is removed and can reverse the sign of a response's GRPO advantage. To address this problem, we introduce MetaRubric, which alternates evidence-aware policy optimization with response-guided rubric adaptation. We construct counterfactual counterparts by changing one task-relevant fact in each prompt. During policy optimization, credit is assigned only when the response contains sufficient evidence to satisfy the required rubric criterion. After each policy-optimization stage, current policy responses guide revisions to original and counterfactual criteria while preserving the meaning of the original prompt's initial rubric as interpreted under each prompt's facts. We also adapt criterion weights at stage boundaries to better address observed policy errors. Across multiple backbones, MetaRubric improves PubMedQA accuracy by 6.00--20.40 percentage points over static-judge GRPO, with further gains on HealthBench-Hard and two multimodal medical benchmarks.