Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation
作者: Xincheng Wei, Yifan Ding, Yoshua Li, Yuquan Lu, Ziheng Li, Yi Lu, Dongsheng Ma, Rongxiang Weng, Xunliang Cai
分类: cs.CL, cs.LG
发布日期: 2026-09-30
💡 一句话要点
提出邻域在线自蒸馏方法以提升数学推理模型性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线自蒸馏 数学推理 模型训练 深度学习 参数扰动 监督学习 智能教育
📋 核心要点
- 现有的在线自蒸馏方法在每个状态下使用固定参数设置，未能充分利用附近的参数设置提供的额外监督。
- 论文提出邻域在线自蒸馏（N-OPSD）方法，通过局部参数扰动获取互补校正，增强学生模型的训练效果。
- 实验结果显示，N-OPSD在多个基准测试中显著提升了模型性能，尤其在Qwen3系列模型上表现突出。
📝 摘要（中文）
论文提出了一种邻域在线自蒸馏（N-OPSD）方法，旨在通过利用附近的参数设置提供额外的监督，从而提升数学推理模型的训练效果。传统的在线自蒸馏方法在每个状态下使用固定的参数设置，而N-OPSD通过局部参数扰动揭示了在相同参考上下文下的互补校正。实验结果表明，N-OPSD在多个基准测试中显著提高了模型的性能，尤其是在Qwen3-1.7B、4B和8B模型上，分别提升了2.75、1.67和1.94个点。
🔬 方法详解
问题定义：论文要解决的问题是如何在在线自蒸馏中有效利用附近的参数设置，以提供更丰富的监督信息。现有方法的痛点在于只依赖固定的参数设置，限制了模型的学习能力。
核心思路：论文的核心解决思路是通过局部参数扰动来揭示互补的参考校正，从而为学生模型提供更有效的监督。这种设计旨在利用不同专家在不同参考位置提供的校正信息。
技术框架：整体架构包括两个主要阶段：离线阶段通过贪婪选择构建一个紧凑的冻结专家池，在线阶段则通过最大峰值选择和分位数选择来路由专家。学生模型从所选专家的完整下一个标记分布中学习。
关键创新：最重要的技术创新点在于引入了邻域在线自蒸馏方法，允许模型在训练过程中动态选择最优的监督来源。这与传统方法的固定参数设置形成了本质区别。
关键设计：在关键设计上，论文使用了剪切的前向KL目标作为损失函数，并通过状态路由来进一步提高学生模型的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，邻域在线自蒸馏方法在AIME 2024、AIME 2025和HMMT 2025年2月的基准测试中，相较于传统在线自蒸馏方法，分别提升了2.75、1.67和1.94个点，显示出显著的性能改进。
🎯 应用场景
该研究的潜在应用领域包括数学推理、自然语言处理和智能教育等。通过提升模型的训练效果，N-OPSD方法可以在教育技术中帮助学生更好地理解复杂概念，并在自动化推理系统中提高决策质量。未来，该方法可能会影响更多领域的智能系统设计。
📄 摘要（原文）
On-policy self-distillation (OPSD) trains mathematical reasoning models using a privileged teacher that sees a reference solution and supervises student-sampled prefixes. Standard OPSD uses one fixed parameter setting at every state, but nearby settings may offer additional supervision. We find that local parameter perturbations reveal complementary reference-aligned corrections under the same reference context. Different experts supply these corrections at different reference positions. Their pool covers more such positions than the unperturbed privileged teacher. We introduce Neighborhood OPSD (N-OPSD) to turn these corrections into supervision at student-visited states. Offline, greedy selection builds a compact pool of frozen experts by rewarding filtered reference-token gains beyond the pool's current best at each position. The highest-peak expert need not provide the best training target. Online routing therefore separates the anchor direction from its level of support. MaxPeak selects the anchor token, and quantile selection chooses among experts whose top token matches it. The student learns from the chosen expert's full next-token distribution through the clipped forward-KL objective inherited from OPSD. We evaluate on AIME 2024, AIME 2025, and HMMT February 2025. Across three independent runs per method, Neighborhood OPSD improves the three-benchmark Average@12 over OPSD by 2.75, 1.67, and 1.94 points on Qwen3-1.7B, 4B, and 8B, respectively. Student-prefix continuations support using the pool beyond the reference trajectories used for selection. Matched ablations support filtered reference-token gains as a selection criterion. Accounting for overlap within the pool and routing by state further improve student accuracy. Inference uses only the distilled student.