From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation

📄 arXiv: 2609.37510v1 📥 PDF

作者: Yuhao Wang, Ruiyang Ren, Yinan Zhang, Ruiqing Zhang, Jing Liu, Chunyan Miao

分类: cs.CL, cs.LG

发布日期: 2026-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出MAESTRO以优化教师干预在政策蒸馏中的应用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 政策蒸馏 教师干预 局部策略不一致性 数学推理 机器学习 模型优化 智能教育

📋 核心要点

  1. 现有的政策蒸馏方法在教师干预的分配上存在不足，无法有效平衡回滚质量与离线负担。
  2. 论文提出MAESTRO，通过局部策略不一致性来优化教师干预的深度和时机，从而提升学生的学习效果。
  3. 在实验中，MAESTRO在多个基准上实现了最高的宏平均准确率，并显著减少了训练响应长度67.3%。

📝 摘要（中文）

在政策蒸馏（OPD）中，学生通过强教师的反馈训练自身的推理轨迹。教师干预可以改善这些轨迹，但也会改变学生学习的分布。研究表明，仅依赖回滚质量来分配教师指导是不够的。更深入的干预虽然提高了回滚准确性，但也增加了离线负担。在有限的回滚范围内，学生的最佳准确性和性能保持对不同干预强度的偏好不同。基于这些发现，论文提出了MAESTRO，通过局部策略不一致性来共同调整教师接管的时机和持续时间。MAESTRO在八个数学推理基准上表现优异，显著减少了训练响应长度。

🔬 方法详解

问题定义：本论文旨在解决在政策蒸馏中教师干预的有效性问题。现有方法往往仅依赖回滚质量来分配教师指导，导致学生学习分布的变化和离线负担的增加。

核心思路：论文提出MAESTRO，通过分析局部策略不一致性来动态调整教师干预的深度和持续时间，以优化学生的学习过程和结果。这样的设计旨在更好地平衡教师干预的益处与潜在的负担。

技术框架：MAESTRO的整体架构包括教师干预的动态调整模块、局部策略不一致性评分计算模块以及学生学习轨迹的优化模块。通过这些模块的协同工作，系统能够实时评估和调整教师的干预策略。

关键创新：MAESTRO的核心创新在于引入了局部策略不一致性评分，该评分结合了教师加权候选覆盖率和局部分布相似性，能够更精准地指导教师干预的时机和深度。这一方法与传统的基于回滚质量的干预策略有本质区别。

关键设计：在MAESTRO中，关键参数包括教师干预的深度、局部策略不一致性评分的计算方式，以及训练过程中损失函数的设计。这些设计确保了模型在不同基准上的适应性和性能提升。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在八个数学推理基准上，MAESTRO实现了最高的宏平均准确率，尤其是1.7B Qwen3学生在所有基准上均领先。此外，相较于标准政策蒸馏，MAESTRO将平均训练响应长度减少了67.3%。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和自动化推理工具。通过优化教师干预策略，MAESTRO能够提升学生在复杂任务中的学习效率，具有广泛的实际价值和未来影响。

📄 摘要（原文）

On-policy distillation (OPD) trains a student on its own reasoning trajectories using feedback from a stronger teacher. Teacher interventions can improve these trajectories, but also change the distribution on which the student learns. Our controlled studies show that rollout quality alone is an incomplete criterion for allocating teacher guidance. Deeper intervention yields diminishing gains in rollout accuracy while increasing off-policy load. In a training probe with a restricted rollout horizon, peak student accuracy and performance retention favor different intervention strengths. The preferred intervention depth and placement also vary across benchmarks. These findings motivate MAESTRO, which uses local policy disagreement to jointly adapt when the teacher takes over and how long it generates. Its {policy disagreement score} combines teacher-weighted candidate coverage with local distribution similarity and is aggregated within reasoning paragraphs. Across eight mathematical reasoning benchmarks, MAESTRO achieves the highest macro-average accuracy among the compared methods for both 0.6B and 1.7B Qwen3 students, with the 1.7B student leading on every benchmark. MAESTRO also reduces average training response length by 67.3\% relative to standard OPD. The code is available at https://github.com/yhao-wang/MAESTRO.