On-Policy Transition Distillation
作者: Runyang You, Yongqi Li, Tiezheng Yu, Wenjie Li
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-10-20
💡 一句话要点
提出On-Policy Transition Distillation以提升蒸馏学习效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 蒸馏学习 中间层对齐 教师-学生模型 深度学习 机器学习 模型优化 任务相关监督
📋 核心要点
- 现有的On-policy distillation方法在教师与学生模型的最终层分布匹配上存在局限，未能充分利用中间层的预测信息。
- 本文提出的OPTD方法通过对教师和学生模型的中间层预测过渡进行对齐，提供了额外的任务相关监督，提升了蒸馏效果。
- 实验结果表明，OPTD在多个基准测试中表现优异，尤其在三域设置下，缩小了约90%的教师与学生能力差距，相较于传统方法的75%有显著提升。
📝 摘要（中文）
本文提出了一种新的蒸馏学习方法——On-Policy Transition Distillation (OPTD)，旨在通过对教师和学生模型在中间层的预测过渡进行对齐，增强最终层分布匹配的效果。研究发现，教师与学生在中间层的预测一致性与问题回答的正确性相关。通过在数学、编程和指令跟随等多个基准上进行评估，OPTD在双域和三域蒸馏中均表现出最佳或并列最佳的整体性能，显著缩小了教师与学生能力之间的差距。
🔬 方法详解
问题定义：本文旨在解决现有On-policy distillation方法在教师与学生模型最终层分布匹配中的不足，特别是未能充分利用中间层的预测信息，导致蒸馏效果不佳。
核心思路：OPTD的核心思路是通过对教师和学生模型在中间层的预测过渡进行对齐，增强最终层分布匹配的效果，从而提供更强的任务相关监督。
技术框架：该方法的整体架构包括教师模型和学生模型的对比，通过学生生成的回滚数据来进行层与层之间的对齐，主要模块包括中间层预测对齐和最终层分布匹配。
关键创新：OPTD的关键创新在于引入了中间层预测过渡的对齐机制，这一机制与现有方法的最终层分布匹配形成了互补，显著提升了蒸馏学习的效果。
关键设计：在技术细节上，OPTD设计了特定的损失函数来衡量教师与学生在中间层的预测一致性，并通过优化这些损失来指导学生模型的学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，OPTD在三域蒸馏设置中能够恢复约90%的教师与学生能力差距，相较于传统的On-policy distillation方法的75%有显著提升。此外，OPTD在数学、编程和指令跟随等多个基准上均表现出最佳或并列最佳的整体性能。
🎯 应用场景
该研究的潜在应用领域包括教育技术、自动化编程助手和智能问答系统等。通过提升模型的蒸馏效果，OPTD能够在多种任务中提供更高的准确性和可靠性，具有广泛的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) consolidates expert capabilities into a single student by matching teacher and student final-layer distributions on student-generated rollouts. We investigate whether depthwise prediction transitions, the changes in predictions between layers, can provide additional task-relevant supervision. Our diagnostic study finds that stronger teacher--student agreement in intermediate transitions is associated with higher answer correctness within questions, with correct responses exhibiting lower mean transition KL across all measured intermediate layer pairs. These observations motivate On-Policy Transition Distillation (OPTD), which augments final-layer distribution matching by aligning teacher and student layer-to-layer log-probability increments on student-generated rollouts. Evaluations across three backbones and eight benchmarks spanning mathematics, coding, and instruction following show that OPTD achieves the best or tied-best overall performance in both dual- and three-domain distillation. In the three-domain setting, OPTD recovers $\approx 90\%$ of the overall teacher--student capability gap, compared with $\approx 75\%$ for OPD.