DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation
作者: Anhao Zhao, Haoran Xin, Junlong Tong, Yingqi Fan, Xuan Lu, Ping Nie, Wenjie Li, Xiaoyu Shen
分类: cs.CL, cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出DIAL-OPD以在策略蒸馏中减少标记数量提升学习效果
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 策略蒸馏 标记选择 机器学习 自然语言处理 数学推理
📋 核心要点
- 现有的策略蒸馏方法在标记选择上存在不足，过多的标记可能导致学习效率低下。
- DIAL-OPD通过加权教师和学生的概率对数均值，选择最具价值的标记，从而优化学习过程。
- 在多个数学推理基准上，DIAL-OPD在保留40%标记的情况下，准确率提升达5.25个百分点，显示出显著的效果。
📝 摘要（中文）
在策略蒸馏（OPD）中，学生生成的轨迹通过标记级教师信号进行监督。其采样标记变体避免了全词汇概率的计算成本。然而，我们发现训练较少的标记可以超越全标记OPD，挑战了更多监督改善学习的直觉。这促使我们通过学习价值选择标记。现有的基于分歧的标准忽视了概率规模：被两个模型分配为微不足道概率的标记（低低标记）可能获得较大的对数比奖励，从而阻碍学习。我们提出DIAL-OPD，一种通过加权教师和学生概率的对数均值来选择标记的方法。实验表明，DIAL-OPD在多个基准上表现优异，保留40%的标记时，准确率平均提升5.25个百分点。
🔬 方法详解
问题定义：论文旨在解决在策略蒸馏中，过多标记导致学习效率低下的问题。现有方法未能有效选择有价值的标记，反而可能引入噪声。
核心思路：DIAL-OPD的核心思路是通过加权教师和学生的概率对数均值来选择标记，从而优化标记的选择过程，避免低低标记的负面影响。
技术框架：DIAL-OPD的整体架构包括标记选择模块和奖励计算模块。首先，通过教师和学生模型生成标记，然后计算每个标记的奖励，最后根据奖励选择保留的标记。
关键创新：DIAL-OPD的主要创新在于引入对数均值加权机制，能够有效平衡低低标记的抑制与有用分歧的保留。这一设计与现有方法的本质区别在于其考虑了概率的规模。
关键设计：DIAL-OPD中引入了参数beta来控制奖励的加权程度，确保在选择标记时能够有效抑制低低标记，同时保留对推理正确性至关重要的监督信息。
🖼️ 关键图片
📊 实验亮点
DIAL-OPD在多个实验中表现出色，保留40%标记时，准确率平均提升5.25个百分点，AIME25 Pass@16从13.33%提升至26.67%。在与最强基线对比中，DIAL-OPD在相同保留比例下实现了高达18%的相对提升，显示出其优越性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器学习模型的训练优化以及智能系统的决策支持。通过有效的标记选择，DIAL-OPD能够提升模型的学习效率和推理能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) supervises student-generated trajectories with token-level teacher signals. Its sampled-token variant avoids the cost of full-vocabulary probabilities. Yet we find that training on fewer tokens can outperform full-token OPD, challenging the intuition that more supervision improves learning. This motivates selecting tokens by learning value. Existing disagreement-based criteria ignore probability scale: tokens assigned negligible probability by both models, termed low-low tokens, can receive large log-ratio rewards and hinder learning. We propose DIAL-OPD, a token-selection method that bridges log-probability and probability spaces by weighting reward magnitude with the logarithmic mean of teacher and student probabilities. A parameter beta controls this weighting, and the highest-scoring tokens are retained. Across 4 teacher-student pairs and 7 mathematical reasoning benchmarks, we compare DIAL-OPD with 9 baselines. Retaining only 40% of tokens, it outperforms Vanilla OPD and its full-token variants, with mean accuracy gains reaching 5.25 percentage points over Vanilla OPD, and doubles AIME25 Pass@16 from 13.33% to 26.67%. It also achieves up to an 18% relative improvement in mean accuracy over the strongest token-selection baseline at matched retention ratios. With a 4B teacher, DIAL-OPD surpasses the strongest full-token baseline using an 8B teacher at both student scales, showing that effective supervision allocation can outweigh teacher scaling. Further analysis shows that moderate beta balances suppressing low-low tokens against preserving useful disagreements. Token-level evidence reveals that DIAL-OPD filters high-reward tokens with limited reasoning value while preserving supervision critical to reasoning correctness.