When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment
作者: Jie Zhang, Jingxiao Yang, Zhehao Huang, Yuhang Liu, Xiaolin Huang
分类: cs.LG, cs.AI
发布日期: 2026-09-23
💡 一句话要点
提出统一熵校准信用分配方法以解决教师信任问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 数学推理 在线蒸馏 信用分配 教师信号 验证器 路径效用
📋 核心要点
- 现有的强化学习方法在提供反馈时，往往缺乏对单个标记的有效指导，导致学习效果不佳。
- 本文提出的UECR-GRPO方法通过整合验证器和教师信号，提供了更为全面的反馈机制，提升了学习效果。
- 在五个数学推理基准测试中，UECR-GRPO的准确率分别达到了17.21%和65.09%，超越了现有最强基线。
📝 摘要（中文）
强化学习中的可验证奖励（RLVR）通过最终答案的正确性来监督数学推理，但对单个标记的指导较少。现有的在线蒸馏（OPD）方法提供了对学生生成响应的密集反馈，但教师偏好未必反映正确性。本文提出统一熵校准信用重分配（UECR-GRPO），在响应和标记层面整合验证器和教师信号，采用路径效用统一（PUU）和熵校准重分配（ECR）方法，显著提升了数学推理任务的准确性，实验结果显示在五个基准测试中，UECR-GRPO在不同规模的学生模型上均超越了最强基线。
🔬 方法详解
问题定义：本文旨在解决现有强化学习方法在数学推理任务中对单个标记反馈不足的问题，现有方法在教师指导和验证器信号整合上存在局限性。
核心思路：提出统一熵校准信用重分配（UECR-GRPO），通过在单一GRPO风格更新中整合验证器和教师信号，提供更为密集和有效的反馈。
技术框架：UECR-GRPO包括路径效用统一（PUU）和熵校准重分配（ECR）两个主要模块，前者结合了验证器奖励和教师路径日志比率，后者通过教师与旧策略的标记差异进行信用重分配。
关键创新：最重要的创新在于将教师和验证器信号在同一更新中整合，避免了传统方法中教师指导与验证器信号分离的问题，从而提升了反馈的有效性。
关键设计：采用长度归一化的教师评分，结合奖励进行组归一化和PPO剪切，确保教师证据能够影响响应排名，同时使用全词汇教师熵来减弱不确定指导的影响。实验中，响应级的零和投影保持了总任务信用和标记的符号。
🖼️ 关键图片
📊 实验亮点
在五个数学推理基准测试中，UECR-GRPO在Qwen3-1.7B和Qwen3-4B学生模型上分别达到了17.21%和65.09%的平均准确率，超越了最强基线0.89和0.56个百分点，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和自动化评估工具。通过提供更精准的反馈机制，能够有效提升学生在数学推理等复杂任务中的学习效果，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Reinforcement learning with verifiable rewards (RLVR) supervises mathematical reasoning through final-answer correctness, but provides little guidance on individual tokens. On-policy distillation (OPD) supplies dense feedback on student-generated responses, yet teacher preference need not reflect correctness. Recent hybrids combine OPD and verifier-derived advantages or reweight task credit using teacher ratios. However, teacher guidance enters after verifier-based group normalization, and token reweighting need not preserve the total task credit assigned to each response. We introduce Unified Entropy-Calibrated Credit Redistribution for GRPO (UECR-GRPO), which integrates verifier and teacher signals within a single GRPO-style update at both the response and token levels. \emph{Path-Utility Unification} (PUU) combines verifier reward and a teacher-to-anchor path log-ratio in a single KL-regularized objective. Its on-policy implementation uses a length-normalized teacher score and combines both rewards before group normalization and PPO clipping, allowing teacher evidence to influence the response ranking. \emph{Entropy-Calibrated Redistribution} (ECR) then uses the signed teacher--old-policy token gap to redistribute the verifier-derived component. Full-vocabulary teacher entropy attenuates uncertain guidance, while a response-wise zero-sum projection preserves the total task credit and its token-wise sign before clipping. Across five mathematical reasoning benchmarks, UECR-GRPO achieves average (\mathrm{Avg@12}) accuracies of 17.21\% and 65.09\% with Qwen3-1.7B and Qwen3-4B students, respectively, exceeding the strongest baseline at each scale by 0.89 and 0.56 percentage points.