Training-Free On-Policy Distillation
作者: Bangji Yang, Jiajun Fan, Zhaoyu Zhu, Hongbo Ma, Ge Liu
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-10-15
备注: 20 pages, 6 figures, 9 tables
💡 一句话要点
提出无训练的在线蒸馏方法以整合专家模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 无训练方法 模型融合 专家模型 机器学习
📋 核心要点
- 现有的在线蒸馏方法需要多次训练和梯度更新，效率低下且计算成本高。
- 本文提出的无训练在线蒸馏方法通过前向传播整合多个专家模型，避免了传统训练过程。
- 实验结果显示，该方法在多个数学和代码基准上保持了专家模型的性能，且计算需求显著降低。
📝 摘要（中文）
在线蒸馏通过将多个专家模型整合为一个学生模型，通常需要进行多次回合的训练和梯度更新。本文提出了一种无训练的在线蒸馏方法，利用前向传播将多个专家的能力聚合为一个模型，且该模型的准确性通常高于任何单一专家。通过共享基础模型，蒸馏过程可以在每个线性层上精确重现专家的输出，解决方案仅依赖于输入的二阶矩。通过对数百个回合的前向传播，可以有效获取这些信息。实验表明，移除重复循环中的截断答案显著提升了融合模型的性能，尤其在数学任务上表现突出。
🔬 方法详解
问题定义：现有的在线蒸馏方法需要进行多次回合的训练和梯度更新，导致计算成本高且效率低下。本文旨在解决这一问题，通过无训练的方式整合多个专家模型。
核心思路：本文提出的无训练在线蒸馏方法仅依赖前向传播，将多个专家的能力聚合为一个模型，避免了传统的训练过程。通过共享基础模型，蒸馏过程可以在每个线性层上精确重现专家的输出。
技术框架：整体架构包括多个专家模型和一个融合模型。每个专家模型通过前向传播生成输出，融合模型则通过最小二乘法重现这些输出。关键在于获取输入的二阶矩信息。
关键创新：最重要的技术创新在于提出了无训练的在线蒸馏方法，利用前向传播而非梯度更新来整合专家模型的能力。这一方法显著降低了计算成本，并提高了模型的准确性。
关键设计：在设计中，采用了最小二乘损失函数来确保融合模型的输出与专家模型的输出一致。通过对数百个回合的前向传播，获取输入的二阶矩信息，从而实现有效的模型融合。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在AIME25基准上，移除重复循环中的截断答案后，融合模型的表现从任务算术水平提升至专家模型的水平。在Olmo 3 7B上，经过少量GPU小时的前向计算，生成的通用模型在七个数学和代码基准上保持了大部分专家模型的性能。
🎯 应用场景
该研究的潜在应用领域包括教育、自动化编程和复杂问题求解等。通过整合多个专家模型，可以在不增加计算成本的情况下，提升模型在特定任务上的表现，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
On-policy distillation consolidates specialist models into one student at the price of rollouts, teacher passes and gradient steps for every teacher. We show that the consolidation does not need training: with forward passes only, the capabilities of separately tuned specialists can be aggregated into one model that is, on average, more accurate than either specialist alone. When specialists share a base model, distillation has an exact layer-wise solution: each linear layer of the fused model must reproduce every specialist's output on the inputs that specialist receives while reading its own answers, a least-squares problem whose solution needs only the second moments of those inputs. One forward pass over a few hundred rollouts provides them. We call this training-free on-policy distillation (\method). What the rollouts contain matters more than the solver: answers truncated in repetition loops are few among a mathematics specialist's rollouts but carry a large share of their tokens, and removing them lifts the fused model on AIME25 from task arithmetic's level to the specialist's at matched precision. On Olmo~3 7B, a few GPU-hours of forward computation per specialist yield a generalist that keeps most of each specialist's gain on each of seven mathematics and code benchmarks.