Beyond Prompt Count: How Data Shapes Transfer in On-Policy Distillation
作者: Jiaxuan Wang, Jiafei Lyu, Yuchen Cai, Siye Wu, Pengyuan Wang, Jiashun Liu, Xiang Cheng, Kai Yang, Yangkun Chen, Saiyong Yang, Lan-Zhe Guo
分类: cs.AI
发布日期: 2026-09-29
备注: 39 pages. Code: https://github.com/wyy-1112/dissecting-opd
💡 一句话要点
提出基于数据选择的高效蒸馏方法以提升教师-学生模型间的迁移能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 政策蒸馏 提示选择 迁移学习 强化学习 模型训练 数据效率 教师-学生模型
📋 核心要点
- 现有的政策蒸馏方法对提示选择的影响理解不足，导致迁移效率低下。
- 本文提出通过系统研究提示的数量和选择，优化教师-学生模型间的迁移过程。
- 实验结果表明，少量提示可以达到大规模提示池的性能，且随机采样表现出竞争力。
📝 摘要（中文）
在政策蒸馏（OPD）中，学生模型通过教师反馈对自身采样的响应进行训练，但如何选择提示对教师-学生对之间的迁移影响尚不明确。本文系统研究了提示数量、来源和选择对强化学习（RL）和监督微调（SFT）对的影响。研究发现，OPD在提示效率上表现出色，少量提示即可接近大规模池的性能。此外，提示的有效性是相对的，教师的变化可能会逆转提示的相对效果。通过分析参数和功能变化，揭示了不同提示支持和模型对之间的迁移差异。最终，随机采样在所研究的设置中提供了一个有竞争力的基线。
🔬 方法详解
问题定义：本文旨在解决在政策蒸馏中，提示选择如何影响教师-学生模型间的迁移效率的问题。现有方法对提示的有效性和选择缺乏系统理解，导致迁移效果不佳。
核心思路：通过分析提示的数量、来源和选择，本文提出了一种高效的提示选择策略，强调提示的相对有效性而非内在特性，从而提升教师-学生模型间的迁移能力。
技术框架：研究采用了系统的实验设计，比较了不同提示对教师-学生对的影响，分析了参数和功能的变化。主要模块包括提示选择、教师反馈和模型训练。
关键创新：本文的创新在于区分提示效率与提示可互换性，强调有效数据选择依赖于教师-学生对和目标能力的关系。
关键设计：在实验中，使用了四个DAPO提示与3840个DeepMath提示的性能对比，发现少量提示能够恢复不利迁移后的性能，且随机采样在多个设置中表现出色。实验中还探讨了不同提示支持下的教师对齐预测变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用四个DAPO提示的模型在数学任务上达到了与3840个DeepMath提示相当的性能，表明提示选择的有效性。此外，随机采样在多个实验设置中提供了竞争力的基线，强调了提示的相对有效性。
🎯 应用场景
该研究的潜在应用领域包括强化学习、自然语言处理和机器学习模型的训练优化。通过提升教师-学生模型间的迁移能力，可以在多种任务中实现更高效的模型训练，降低对大规模数据集的依赖，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) trains students using teacher feedback on their own sampled responses, yet how prompt choice shapes transfer across teacher-student pairs remains poorly understood. We systematically study prompt quantity, source, and selection across RL- and SFT-continuation pairs and cross-model settings. We find that OPD can be highly prompt-efficient: a few prompts can approach large-pool performance, with four DAPO prompts matching the observed mathematics score of 3,840 DeepMath prompts. However, prompt utility is relational rather than intrinsic: changing only the teacher can reverse the relative effectiveness of mathematics and code prompts. To characterize these transfer differences, we analyze parameter and functional changes across prompt supports and model pairs. Functional alignment with the teacher varies across supports and target tasks; in continuation pairs, teacher-aligned prediction changes can coexist with weak parameter alignment. Continued OPD on effective supports can restore performance after unfavorable transfer. Finally, targeted selection does not consistently outperform uniform random sampling, and filtering out a source that performs poorly alone yields no consistent gain across three paired support draws. Overall, our results distinguish prompt efficiency from prompt interchangeability and show that effective data choice depends on the teacher-student pair and target capability, with random sampling providing a competitive baseline in the studied settings.