Contrastive On-Policy Distillation

📄 arXiv: 2607.19046v1 📥 PDF

作者: Jiacheng Ruan, Jun Tang, Wenzhen Yuan, Ting Liu, Shuai Bai, Dayiheng Liu, Zhibo Yang, Yuzhuo Fu

分类: cs.CV

发布日期: 2026-07-21

备注: Work in progress. 15 pages, 4 figures

💡 一句话要点

提出对比性在线蒸馏框架以提升推理效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线蒸馏 对比学习 推理效率 多模态学习 模型蒸馏 深度学习 自然语言处理

📋 核心要点

  1. 现有的在线蒸馏方法在推理模式间缺乏明确的比较信号，限制了模型的推理效率。
  2. 本文提出COPD框架，通过对比轻重推理指令下的标记评分，提供更有效的监督信号。
  3. 实验结果显示，COPD在九个多模态基准上显著提高了推理效率，且未降低模型性能。

📝 摘要（中文）

在线蒸馏（OPD）通过最小化教师模型与学生模型在每个标记位置的输出分布之间的差异，为学生模型提供密集的标记级监督。现有的OPD方法虽然在提升学生模型的推理能力方面表现出色，但其目标主要依赖于标记级分布匹配，缺乏对推理模式间相对兼容性的明确信号。为了解决这一局限性，本文提出了对比性在线蒸馏框架（COPD），通过对学生模型生成的每个标记，利用冻结的教师模型在轻推理和重推理两种对比指令下评分，从而提供标记级优势信号，引导OPD更新。实验结果表明，COPD显著减少了推理长度，同时提高了不同任务和模型规模下的效率。

🔬 方法详解

问题定义：本文旨在解决现有在线蒸馏方法在推理模式间缺乏明确比较信号的问题。现有方法主要依赖标记级分布匹配，无法有效建模推理模式的偏好。

核心思路：COPD框架通过对比轻推理和重推理指令下的标记评分，提供标记级优势信号，直接引导学生模型学习更高效的推理策略。

技术框架：COPD的整体架构包括教师模型和学生模型，教师模型为学生模型生成的每个标记提供在不同推理模式下的评分，利用这些评分进行OPD更新。

关键创新：COPD的主要创新在于引入对比性评分机制，区别于传统的单一教师分布模仿，直接鼓励学生模型学习更简洁的推理策略。

关键设计：在损失函数设计上，COPD利用标记级优势信号进行更新，确保学生模型在不同推理模式下的表现得到有效提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，COPD在九个多模态基准上显著减少了推理长度，且在不同任务和模型规模下的效率均有提升。具体而言，COPD在某些任务上推理长度减少了约30%，而模型性能保持稳定，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和多模态学习等，能够有效提升模型在复杂推理任务中的表现。未来，COPD框架可能推动更高效的自我蒸馏技术的发展，从而在资源受限的环境中实现更优的模型性能。

📄 摘要（原文）

On-policy Distillation (OPD) supervises a student model on trajectories sampled from its own policy by minimizing the divergence between the output distributions of the teacher and student at each token position, thereby providing dense token-level supervision. Although existing OPD methods have demonstrated strong performance in improving the reasoning ability of student models, their objectives fundamentally rely on token-level distribution matching. Consequently, they lack an explicit signal for comparing a token's relative compatibility across reasoning modes and thus do not directly model preferences between these modes. To address this limitation, we propose COPD, a contrastive OPD framework. Specifically, for each token generated by the student model, a frozen teacher model scores the same student state under two contrasting instructions that elicit light and heavy reasoning. The difference between the resulting log probabilities serves as a token-level advantage signal to guide the OPD update. Rather than merely imitating a single teacher distribution, COPD directly encourages the student model to learn more concise and efficient reasoning strategies. We conduct experiments on nine multimodal benchmarks covering both reasoning and understanding tasks. The results show that COPD substantially reduces reasoning length without compromising model performance and consistently improves efficiency across different tasks and model scales. Furthermore, the contrastive formulation can be seamlessly integrated into the On-policy Self-distillation (OPSD) framework, where self-contrastive supervision is constructed without an additional teacher model, thereby enabling the model to distill itself toward lightweight reasoning.