Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
作者: Jiashuo Sun, Hao Zhang, Xueqiang Xu, Heng Wang, Yixuan Xie, Pengcheng Jiang, Zhenrui Yue, Jiajun Fan, Peiran Li, Ge Liu, Shaowen Wang, Jiawei Han
分类: cs.AI, cs.CL
发布日期: 2026-10-20
备注: 28 pages, 10 figures, 5 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出Ask-to-Distill框架以优化问题生成用于蒸馏训练
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线蒸馏 问题生成 知识转移 教师监督 合成数据
📋 核心要点
- 现有的在线蒸馏方法在生成问题的有效性和质量上存在不足，难以评估新问题的价值。
- 本文提出的Ask-to-Distill框架通过优化合成问题的生成，提升教师监督的质量，进而改善学生的学习效果。
- 实验结果显示，该方法在多个任务上超越了未优化的学生生成提示和真实问题，提升了性能和监督信号的密度。
📝 摘要（中文）
在现有的在线蒸馏（OPD）方法中，训练问题的数量往往较少，但如何评估新生成问题的价值并生成更好的问题仍然是一个挑战。本文提出了Ask-to-Distill框架，将合成问题视为分布知识转移的载体，优化教师监督。通过一个冻结的学生-教师对，使用分布代理来计算问题的价值，结合教师-学生的不一致性和教师在学生候选支持上的概率质量，生成的问题经过过滤和去重，形成标准OPD的提示库。实验表明，该方法在数学推理、代码生成和自主任务中，提升了平均性能和教师差距恢复，优化的问题能够从更短的学生响应中引出更密集的监督信号。
🔬 方法详解
问题定义：本文旨在解决如何评估和生成有效问题以用于在线蒸馏训练的问题。现有方法在问题生成的有效性和质量上存在不足，难以充分利用合成问题的潜力。
核心思路：论文提出的Ask-to-Distill框架将合成问题视为分布知识转移的载体，通过优化生成问题的过程来提升教师监督的质量。该方法不依赖于正确答案，而是通过教师与学生之间的分歧来评估问题的价值。
技术框架：整体架构包括一个学生初始化的合成器，该合成器使用冻结的学生-教师对来计算问题的价值，结合教师-学生不一致性、教师概率质量、问题长度和多样性控制等因素。生成的问题经过过滤和去重，形成标准的提示库供在线蒸馏使用。
关键创新：最重要的技术创新在于提出了一种新的问题生成优化方法，利用教师与学生之间的分歧来评估问题的价值，这与现有方法依赖于正确答案的方式有本质区别。
关键设计：在设计上，论文结合了教师-学生的不一致性作为奖励信号，同时引入了长度和多样性控制，以确保生成问题的质量和多样性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Ask-to-Distill方法在数学推理、代码生成和自主任务中，平均性能提升显著，教师差距恢复效果优于未优化的学生生成提示和KL过滤的真实问题，显示出优化问题生成的有效性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能问答系统和自动化代码生成等。通过优化问题生成，能够提升机器学习模型的训练效率和效果，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
On-policy distillation (OPD) can succeed with surprisingly few training questions, motivating a view of questions as carriers of distributional knowledge transfer. How can we assess whether a newly generated question is valuable for distillation, and learn to generate better questions---without access to its correct answer? We introduce Ask-to-Distill (\method), a framework that treats synthetic questions as distribution elicitors and optimizes the teacher supervision they expose along student-generated trajectories. A student-initialized synthesizer is optimized using a distributional surrogate for question value, computed from a frozen student--teacher pair without reference answers, correctness rewards, or per-candidate student updates. The reward combines teacher--student disagreement with teacher probability mass on the student's candidate support, together with length and diversity controls. The generated questions are filtered and deduplicated into a prompt-only bank for standard OPD. Across mathematical reasoning, code generation, and agentic tasks, our method improves average performance and teacher-gap recovery over unoptimized student-generated prompts and KL-filtered real questions, while matching or exceeding real-bank OPD in the evaluated settings. Signal analyses further show that optimized questions can elicit denser supervision and more total signal from shorter student responses, supporting elicited distributional supervision as an objective for synthetic distillation data. Our code, data and models are publicly available at https://github.com/GasolSun36/Ask_to_Distill.