On-Policy Delta Distillation
作者: Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han
分类: cs.LG, cs.CL
发布日期: 2026-07-16
备注: 19 pages, 4 figures, 12 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出On-Policy Delta Distillation以提升强化学习中的推理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 蒸馏训练 推理能力 delta信号 模型优化 教师模型 后训练方法
📋 核心要点
- 现有的on-policy distillation方法在推理能力转移上存在设计不足，未能充分利用教师模型的潜力。
- 本文提出的delta信号通过捕捉教师模型与基础模型之间的差异，提供了一种更有效的蒸馏奖励机制。
- 实验结果表明，OPD²在多个基准测试中表现优异，相较于传统方法有显著提升，尤其在推理任务上。
📝 摘要（中文）
On-policy distillation是一种强化学习中的后训练方法，通过教师模型提供的token级监督来缓解奖励模型的限制。尽管该方法在多个场景中得到应用，但其基本设计仍未得到充分探索。本文提出了一种新的蒸馏奖励，称为delta信号，定义为教师模型与其基础模型在推理能力调优前的差异。delta信号捕捉了推理调优所引起的变化，为转移推理能力提供了更直接的信号。通过大量实证证据，我们展示了delta信号显著改善了on-policy distillation，并将新方法称为On-Policy Delta Distillation (OPD²)。在数学、科学和代码推理基准上的实验表明，OPD²在短时间的后训练期内始终优于传统的on-policy distillation。
🔬 方法详解
问题定义：本文旨在解决现有on-policy distillation方法在推理能力转移中的不足，特别是未能有效利用教师模型的输出分布。现有方法往往直接模仿教师模型的输出，导致信息传递不够高效。
核心思路：论文提出的delta信号作为新的蒸馏奖励，定义为教师模型与基础模型之间的差异。这一设计能够更直接地反映推理能力的变化，从而提高蒸馏效果。
技术框架：整体架构包括教师模型、基础模型和delta信号计算模块。首先，教师模型生成输出，然后计算其与基础模型的差异，最后利用这一差异作为蒸馏奖励进行模型训练。
关键创新：最重要的创新点在于引入delta信号作为蒸馏奖励，区别于传统方法直接模仿教师模型的输出分布。这一方法更有效地捕捉了推理调优的变化。
关键设计：在参数设置上，delta信号的计算依赖于教师模型和基础模型的输出差异，损失函数则结合了delta信号与传统蒸馏损失，确保模型在推理能力上得到有效提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，OPD²在数学、科学和代码推理基准上均显著优于传统的on-policy distillation方法，提升幅度达到10%以上，证明了delta信号在推理能力转移中的有效性。
🎯 应用场景
该研究的潜在应用领域包括教育、科学计算和编程辅助等，能够帮助构建更强大的推理能力模型，提升自动化系统的智能水平。未来，OPD²方法可能在更广泛的强化学习任务中得到应用，推动智能体在复杂环境中的表现。
📄 摘要（原文）
On-policy distillation is an alternative post-training method in reinforcement learning that alleviates the constraints imposed by reward models by providing token-level supervision from a teacher model. Although on-policy distillation has been studied and applied across various settings, its fundamental design remains underexplored. In this paper, we introduce a new distillation reward, termed the delta signal, instead of directly imitating the teacher's output distribution. The delta signal is defined as the difference between the teacher model and its base model prior to instruction tuning for reasoning capability. It therefore captures the changes induced by reasoning tuning and provides a more direct signal for transferring reasoning capabilities. Using extensive empirical evidence, we show that the delta signal substantially improves on-policy distillation and refer to the new distillation method as On-Policy Delta Distillation (OPD$^2$). Experiments across mathematics, science, and code-reasoning benchmarks demonstrate that OPD$^2$ consistently outperforms conventional on-policy distillation, enabling reasoning LLMs to achieve strong performance with only a short post-training period. Code will be available at https://github.com/naver-ai/opd2