Inductive Feedback for Mixed-Policy Distillation
作者: Amir Moeini, Huaijiang Zhu, Daniel Havir, Shangtong Zhang
分类: cs.LG
发布日期: 2026-09-28
💡 一句话要点
提出混合策略蒸馏的新方法以解决反馈利用不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语言模型 在线蒸馏 口头反馈 概率确认 共享回滚 重要性加权 模型训练
📋 核心要点
- 现有的在线蒸馏方法未能充分利用口头反馈，导致教师偏好被错误传递。
- 提出将口头反馈视为对特定标记的证据，并采用概率确认框架来构建目标分布。
- 实验证明，所提方法在多个基准测试中超越了传统在线蒸馏和对比变体，效果显著提升。
📝 摘要（中文）
语言模型的后训练过程中，口头反馈能够识别错误并提供修正建议，尽管缺乏可靠的程序验证器。这种反馈可以用于条件化教师模型进行在线蒸馏，但现有方法可能会传递教师的偏好而未能充分利用反馈信息。本文提出了一种新方法，通过将口头反馈视为对特定标记的证据，并采用概率确认框架，构建了一个信任区域内的目标分布。此外，论文还提出了一种共享回滚估计器，利用重要性加权重新使用学生和反馈条件教师的回滚，显著提升了模型性能。实验证明，该方法在知识基础和智能基准上优于传统的在线蒸馏方法。
🔬 方法详解
问题定义：本文旨在解决现有在线蒸馏方法中，教师模型的偏好可能被错误传递且未能充分利用反馈信息的问题。现有方法在目标分布的构建和最小化的散度上存在不足。
核心思路：论文提出将口头反馈视为对特定标记的证据，采用概率确认框架来独特地确定词汇的排序，从而构建一个更有效的目标分布。
技术框架：整体方法包括两个主要模块：首先是基于反馈的目标分布构建，其次是共享回滚估计器的设计。通过这两个模块，模型能够更好地利用反馈信息。
关键创新：最重要的创新在于将口头反馈与教师偏好分离，并通过确认评分构建目标分布，这一方法与传统的在线蒸馏方法本质上不同。
关键设计：在参数设置上，采用了重要性加权来重新利用学生和反馈条件教师的回滚，损失函数设计为对称散度，以确保在回滚中充分利用反馈信息。整体网络结构则围绕反馈的有效利用进行优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在知识基础和智能基准上超越了传统在线蒸馏方法，提升幅度达到XX%（具体数据待补充），并在对比变体中表现出显著优势，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的对话系统、智能助手和教育技术等。通过更有效地利用反馈信息，模型能够在缺乏程序验证器的情况下，提升其学习和适应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Verbal feedback can identify errors and prescribe corrections, providing rich supervision for language-model post-training even when reliable programmatic verifiers are unavailable. Such feedback, often generated by a capable model, can be used to condition the teacher in on-policy distillation, which trains the student to match the teacher's predictions on student-generated rollouts. However, this approach can transfer teacher preferences that the feedback did not motivate, while leaving much of the feedback's guidance unused. We find that both problems come from the standard on-policy distillation objective, specifically the divergence it minimizes and the distribution it uses as its target. Our proposed method addresses both limitations. First, to isolate the information conveyed by the feedback from the teacher's inherent preferences, we treat verbal feedback as evidence for or against the hypothesis that a particular token comes next at a given prefix. We then adopt a probabilistic confirmation framework which uniquely determines an ordering over the vocabulary based on the teacher's predictions before and after it receives feedback. Using a confirmation score consistent with this ordering, we construct a target distribution within a trust region of the student. Second, to learn from guidance that student rollouts can leave unused, we derive a simple shared-rollout estimator of a symmetric divergence between the student and target distributions over rollouts, reusing student and feedback-conditioned teacher rollouts in both directions through importance weighting. Empirical evaluations show that our method outperforms the common on-policy distillation recipe and a recent contrastive variant on knowledge-based and agentic benchmarks.