Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
作者: Wenxuan Luo, Chenxi Li, Haoyue Liu, Yongxin Guo, Xiaoying Tang
分类: cs.AI
发布日期: 2026-10-15
备注: 15 pages, 2 figures, 12 tables
💡 一句话要点
提出条件对比外推以解决语言模型蒸馏中的错误推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语言模型 政策蒸馏 条件对比 推理能力 自然语言处理 模型优化 机器学习
📋 核心要点
- 现有的政策蒸馏方法在教师监督下，容易导致学生模型生成无效的推理延续，影响模型性能。
- 本文提出的CCE-OPD通过引入条件对比机制，使教师的监督更加关注问题的条件，减少错误推理。
- 在200个诊断推理状态上，CCE-OPD将无效延续的偏好率从27.0%降低到16.0%，并在多个基准测试中显著提升了模型性能。
📝 摘要（中文）
在政策蒸馏（OPD）中，学生语言模型通过生成自身轨迹并接受强教师的监督来进行改进。然而，当教师基于学生生成的前缀进行条件化时，可能会偏向于无效的延续，导致OPD鼓励错误的推理步骤。为此，本文提出了条件对比外推政策蒸馏（CCE-OPD），使教师监督对问题条件更加敏感。CCE-OPD结合了固定前缀比较和有界对数概率对比，显著降低了无效延续的偏好率，并在多个数学基准上实现了显著的性能提升。
🔬 方法详解
问题定义：本文旨在解决现有政策蒸馏方法中教师监督导致的无效推理延续问题。现有方法在条件化时可能偏向错误的推理路径，从而影响学生模型的学习效果。
核心思路：提出条件对比外推政策蒸馏（CCE-OPD），通过固定前缀比较和有界对数概率对比，使教师的监督更加敏感于问题的条件，从而减少无效延续的发生。
技术框架：CCE-OPD的整体架构包括两个主要模块：固定前缀比较模块和有界对数概率对比模块。前者通过对比完整问题与条件掩蔽问题的输出，后者则通过调整教师分布来生成辅助蒸馏目标。
关键创新：最重要的创新在于引入了条件对比机制，使得教师的监督不仅依赖于学生生成的内容，还考虑到问题的条件，从而有效减少了无效推理的发生。
关键设计：在实现中，固定前缀比较使用了冻结的教师模型，确保评估的一致性；有界对数概率对比则通过重新加权教师分布，形成辅助目标，提升了蒸馏的效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CCE-OPD在200个诊断推理状态上将无效延续的偏好率从27.0%降低至16.0%。在六个数学基准测试中，CCE-OPD在蒸馏Qwen3-8B至0.6B和1.7B学生模型时，平均提升了1.60和1.95个百分点，并在四个迁移基准上取得了最佳结果。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的对话系统、问答系统和自动文本生成等。通过提高语言模型的推理能力，CCE-OPD能够在实际应用中提供更准确和合理的回答，增强用户体验。未来，该方法还可能推动更复杂的推理任务的研究与应用。
📄 摘要（原文）
On-policy distillation (OPD) improves a student language model by training on its own generated trajectories with supervision from a stronger teacher. However, when conditioned on student-generated prefixes, the teacher can favor invalid continuations that violate the question's premises, causing OPD to encourage erroneous reasoning steps. As a remedy, we introduce Condition-Contrastive Extrapolated On-Policy Distillation (CCE-OPD), which makes teacher supervision sensitive to question conditions. CCE-OPD incorporates (1) a fixed-prefix comparison in which the same frozen teacher evaluates the complete question and a counterpart with a selected condition masked, and (2) a bounded log-probability contrast that reweights the teacher distribution into an auxiliary distillation target. On 200 diagnostic reasoning states, condition contrast reduces the rate of preferring invalid continuations from 27.0% to 16.0%. Extensive experiments across six mathematical benchmarks show that CCE-OPD improves avg@8 over OPD by an average of 1.60 and 1.95 percentage points when distilling Qwen3-8B into 0.6B and 1.7B students, respectively. It also achieves the strongest results on four transfer benchmarks.