Training LLM Judges from Language Feedback via Position-Selective Self-Distillation
作者: Ilgee Hong, Changlong Yu, Zhenghao Xu, Xin Liu, Yuwei Zhang, Qin Lu, Bing Yin, Tuo Zhao
分类: cs.CL, cs.LG
发布日期: 2026-09-30
💡 一句话要点
通过位置选择自蒸馏训练LLM评判者以优化语言反馈
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语言模型 自蒸馏 强化学习 主观评判 自然语言处理 模型泛化 位置选择
📋 核心要点
- 现有的结果监督强化学习方法未能充分利用语言反馈，导致评判标准选择的信号不足。
- 论文提出通过位置选择自蒸馏的方法，利用教师模型提供位置级别的监督，增强评判者的学习效果。
- 实验结果显示，自蒸馏的评判者在主观任务上性能提升2-9个百分点，且在客观任务上保持竞争力。
📝 摘要（中文）
本研究探讨了如何通过自然语言反馈训练大型语言模型（LLM）评判者，尤其是在主观任务中，评判结果高度依赖于评判标准的选择及其权重。现有的结果监督强化学习方法（如GRPO）仅根据最终结果的准确性为每个token赋予单一标量，未能充分利用伴随偏好标签的丰富语言反馈。自蒸馏（SD）是一种利用语言反馈的自然方式，通过条件化反馈使同一模型作为教师提供密集的、位置级别的监督。我们通过教师与学生之间的每位置熵变化识别出两种模式：上下文聚焦和上下文扩散。实验表明，基于熵变化的掩蔽方法能显著提高模型的泛化能力，最终自蒸馏的评判者在主观子类别上超越了结果监督RL训练的评判者2-9个百分点。
🔬 方法详解
问题定义：本研究旨在解决现有结果监督强化学习方法在主观任务中对语言反馈利用不足的问题，导致评判标准选择信号缺失。
核心思路：论文提出通过位置选择自蒸馏的方法，利用教师模型基于语言反馈提供位置级别的监督，以增强模型对评判标准的理解和记忆。
技术框架：整体架构包括教师模型和学生模型，教师模型根据语言反馈生成位置级别的监督信号，学生模型则通过自蒸馏学习这些信号。关键模块包括熵变化计算和位置掩蔽机制。
关键创新：最重要的技术创新在于引入了基于熵变化的掩蔽方法，通过保留低熵变化位置来优化学习过程，与现有方法相比，显著提升了模型的泛化能力。
关键设计：在模型训练中，设置了位置掩蔽机制，选择性地关注熵变化较低的位置，同时设计了适应性损失函数，以更好地引导学生模型学习教师模型的反馈。
🖼️ 关键图片
📊 实验亮点
实验结果表明，自蒸馏的评判者在主观子类别上超越了使用结果监督强化学习训练的评判者，性能提升幅度在2-9个百分点，同时在客观任务上保持了竞争力，展示了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的主观评判任务，如文本生成质量评估、内容推荐系统等。通过优化评判者的训练过程，可以提高模型在复杂任务中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
We study training LLM judges from natural language feedback, especially for subjective tasks where the verdict depends strongly on which evaluation criteria the judge invokes and how it weighs them. The dominant approach, outcome-supervised RL (e.g., GRPO), credits every token in the rollout with a single scalar determined only by the accuracy of the final verdict, providing no separate credit at the criterion-choice tokens and ignoring the rich language feedback (e.g., preference rationales) that naturally accompanies preference labels. Self-Distillation (SD) is one natural way to use this language feedback: the same model, conditioned on this feedback, acts as a teacher providing dense, position-level supervision. However, not all positions carry equally useful signal. Using the per-position entropy shift between teacher and student, we identify two regimes: context sharpening, where the teacher concentrates probability on a particular feedback-aligned criterion expression, and context spreading, where the teacher distributes probability across multiple feedback-aligned alternatives. We interpret these patterns as follows: sharpening encourages memorization of a particular criterion expression, whereas spreading promotes semantic understanding by preserving these alternatives. Motivated by this asymmetry, we introduce position masking based on the entropy shift that retains the lower tail of the entropy-shift distribution. Experiments show that masking higher-entropy-shift positions improves out-of-distribution generalization over naive SD. The resulting self-distilled judges outperform judges trained with outcome-supervised RL by 2-9 percentage points on the evaluated subjective subcategories, while remaining competitive on objective ones.