CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning

📄 arXiv: 2610.17733v1 📥 PDF

作者: Guangcheng Zhu, Yingfan Ma, Xing Zheng, Haobo Wang, Shenzhi Yang, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

分类: cs.LG, cs.AI

发布日期: 2026-10-13

💡 一句话要点

提出CoCA以解决标准化反馈在强化学习中的不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 标准化评分 强化学习 信用分配 细粒度指导 开放式任务 大型语言模型 结构化反馈

📋 核心要点

  1. 现有的标准化评分强化学习方法未能有效利用结构化反馈，导致学习信号的退化。
  2. 本文提出CoCA，通过将特权评分信息作为信用分配的线索，重新定义信用分配问题。
  3. 实验结果显示，CoCA在医学和科学任务上平均提升了4.2%，证明了其在开放式任务中的有效性。

📝 摘要（中文）

基于标准化评分的强化学习（RL）通过明确的标准评估响应以构建奖励，为在开放式任务上训练大型语言模型提供了一种可行的方法。然而，现有方法将标准级反馈压缩为标量奖励，并对所有token分配统一的优势，导致结构化评分监督未得到充分利用。近期研究尝试通过将评分视为特权信息来获得更细粒度的指导，但所产生的学习信号未能基于标准结果，可能导致奖励退化。因此，本文重新构建了问题为标准意识的信用分配，其中特权评分信息作为信用分配的相关线索，而非模仿目标的来源。我们提出了CoCA，该方法从群体相对结果中推导标准级信用，并根据标准引起的分布变化在token之间进行分配，从而产生基于结果和细粒度的学习信号。实验证明，CoCA在医学和科学基准上平均提升了4.2%，在开放式任务上实现了更有效的学习。

🔬 方法详解

问题定义：本文旨在解决现有标准化评分强化学习方法中，反馈压缩为标量奖励导致的结构化监督未被充分利用的问题。现有方法在信用分配时未考虑标准的细粒度信息，可能导致学习信号的退化。

核心思路：CoCA的核心思想是将特权评分信息视为信用分配的相关线索，而不是模仿目标。通过这种方式，CoCA能够从群体相对结果中推导出标准级信用，并在token之间进行更合理的分配。

技术框架：CoCA的整体架构包括两个主要模块：首先是标准级信用的推导模块，该模块基于群体相对结果进行计算；其次是信用分配模块，该模块根据标准引起的分布变化在token之间进行分配。

关键创新：CoCA的主要创新在于将标准意识引入信用分配过程，使得学习信号不仅基于结果，而且能够提供更细粒度的指导。这一方法与传统的统一信用分配方法本质上不同，能够更好地利用结构化反馈。

关键设计：在设计上，CoCA采用了基于群体相对结果的信用推导机制，并结合了标准引起的分布变化进行token的信用分配。损失函数的设计也考虑了标准级反馈的细粒度特性，以确保学习信号的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CoCA在医学和科学基准上实现了平均4.2%的性能提升，相较于标准化评分的强化学习方法，显示出更有效的学习能力。这一结果表明，CoCA在开放式任务中能够更好地利用结构化反馈，提升模型的学习效果。

🎯 应用场景

该研究的潜在应用领域包括教育评估、自动化内容生成和医疗决策支持等。通过更有效的信用分配机制，CoCA能够帮助大型语言模型在开放式任务中更好地理解和响应复杂的标准要求，提升其实际应用价值。未来，CoCA的理念也可能推广到其他领域的强化学习任务中，推动智能系统的进一步发展。

📄 摘要（原文）

Rubric-based reinforcement learning (RL) evaluates responses against explicit criteria to construct rewards, offering a viable way to train large language models on open-ended tasks. However, standard methods compress criterion-level feedback into scalar rewards and assign uniform token advantages, leaving structured rubric supervision underutilized. Recent work seeks finer-grained guidance by treating rubrics as privileged information to derive self-distillation targets, but the resulting learning signal is not grounded in criterion outcomes and can lead to reward degradation. This motivates us to reframe the problem as criterion-aware credit assignment, where privileged rubric information serves as a relevance cue for credit allocation rather than a source of imitation targets. Accordingly, we propose CoCA, which derives criterion-level credits from group-relative outcomes and allocates them across tokens based on criterion-induced distribution shifts, yielding both outcome-grounded and fine-grained learning signals. Empirically, CoCA achieves an average gain of +4.2% over standard rubric-based RL across medicine and science benchmarks, demonstrating more effective learning on open-ended tasks.