On-Policy Distillation Teaches New Skills but Not New Knowledge

📄 arXiv: 2610.09639v1 📥 PDF

作者: Yixuan Tang, Yi Yang

分类: cs.CL

发布日期: 2026-10-07

💡 一句话要点

提出在政策蒸馏方法以提升推理能力但不增加知识

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 政策蒸馏 推理能力 知识获取 反向KL 多步推理 自然语言处理 智能问答 教育技术

📋 核心要点

  1. 现有的蒸馏方法在提升模型推理能力时，未能有效增加模型的事实知识。
  2. 论文提出了一种新的在政策蒸馏方法，通过分离推理能力和知识获取来优化模型性能。
  3. 实验结果表明，反向KL OPD在组合技能转移上表现良好，但对事实知识的转移效果有限。

📝 摘要（中文）

在政策蒸馏（OPD）增强语言模型推理能力的同时，学生是否获得新的事实知识或多步推理的组合技能仍然未知。本文通过一个受控的合成框架分离这些能力，测量学生的初始能力，并独立控制教师的额外事实、组合技能或两者。实验结果表明，反向KL OPD能够可靠地在未见推理结构中转移组合技能，但对事实知识的转移有限。这种不对称性源于蒸馏配方的解耦：用正向KL替代反向KL可以恢复事实转移，而学生的回放则特别改善多步推理的执行。实验结果显示，在最近的事实问答和数学竞赛中，反向KL OPD下的类似不对称性导致显著的推理提升，而没有扩展事实记忆。综上所述，政策蒸馏并未扩展模型的参数知识，而是教会模型组织和组合已有知识。

🔬 方法详解

问题定义：本文旨在解决在政策蒸馏（OPD）过程中，模型在推理能力提升与知识获取之间的平衡问题。现有方法在增强推理能力时，往往未能有效扩展模型的事实知识。

核心思路：论文通过设计一个受控的合成框架，分离推理能力与知识获取，评估学生模型在不同条件下的表现，以此揭示蒸馏过程中的不对称性。

技术框架：整体架构包括教师模型与学生模型的交互，教师提供额外的事实或组合技能，学生通过反向KL或正向KL进行学习。主要模块包括能力测量、知识控制和蒸馏过程。

关键创新：最重要的技术创新在于通过反向KL OPD实现组合技能的有效转移，而对事实知识的转移则通过正向KL得以恢复。这一设计揭示了蒸馏过程中的能力与知识的独立性。

关键设计：在实验中，采用了不同的损失函数来比较反向KL与正向KL的效果，同时通过学生的回放机制来优化多步推理的执行，确保模型在推理能力上获得提升。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，反向KL OPD在组合技能转移上表现出色，能够在未见推理结构中实现显著的推理提升，尽管对事实知识的转移效果有限。与基线模型相比，推理能力提升幅度达到显著水平，验证了新方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过优化模型的推理能力，能够提升人机交互的智能化水平，同时在特定领域的知识应用中，帮助模型更好地组织和利用已有知识，具有重要的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) strengthens language-model reasoning, yet whether students acquire new factual knowledge or compositional skill for multi-step reasoning remains unknown. We separate these capabilities using a controlled synthetic framework that measures the student's initial capabilities and independently controls the teacher's additional facts, compositional skill, or both. Across four models from three families, reverse-KL OPD reliably transfers compositional skill across unseen reasoning structures, but transfers minimal factual knowledge. Decoupling the distillation recipe reveals the source of this asymmetry: replacing reverse KL with forward KL restores factual transfer, whereas student rollouts specifically improve the execution of multi-step reasoning. Experiments on recent factual QA and competition mathematics show a similar asymmetry under reverse-KL OPD, yielding notable reasoning gains without factual memory expansion. Together, these results demonstrate that on-policy distillation does not expand a model's parametric knowledge, but instead teaches it to organize and compose the knowledge it already possesses.