What Matters in On-Policy Distillation? A Perspective on Data Efficiency and Data Selection

📄 arXiv: 2609.05198v1 📥 PDF

作者: Zhinan Hou, Jiaqi Zhang, Xunliang Cai, Keyou You

分类: cs.AI

发布日期: 2026-09-04

💡 一句话要点

提出基于困难样本选择的蒸馏训练方法以提升数据效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 蒸馏训练 困难样本选择 数据效率 推理链 自然语言处理

📋 核心要点

  1. 现有的On-Policy Distillation方法在数据选择机制上存在不足，未能充分利用困难样本的潜力。
  2. 本文提出了一种基于困难样本选择的训练方法，强调长推理链对模型性能的提升作用。
  3. 实验结果表明，使用仅8个困难样本进行训练，学生模型的性能可与使用17K样本的基线相当。

📝 摘要（中文）

在后训练阶段，On-Policy Distillation（OPD）被广泛应用于增强大型语言模型的推理能力。然而，OPD中的数据选择机制尚未得到充分探索。本文通过实证研究探讨了OPD中的数据效率和数据选择。我们发现1-shot OPD在所有样本上均表现出一致的有效性，且困难样本通常带来更大的性能提升。进一步分析表明，模型的改进并非由高token熵驱动，而是由较长的推理链（CoT）路径所引导。基于这些发现，我们提出了一种简单的数据选择方法，仅选择困难样本进行训练，甚至“不可解”的样本也能有效利用。实验结果显示，仅用8个困难样本训练的学生模型性能可与17K数据集基线相媲美。

🔬 方法详解

问题定义：本文旨在解决On-Policy Distillation（OPD）中数据选择的低效问题，现有方法未能充分利用困难样本的潜力，导致训练效果不佳。

核心思路：通过实证研究发现，困难样本在训练中能够显著提升学生模型的性能，尤其是较长的推理链（CoT）能够帮助模型更好地对齐教师模型。

技术框架：整体框架包括数据选择、训练过程和性能评估三个主要模块。在数据选择阶段，优先选择困难样本进行训练；在训练过程中，利用长推理链进行模型学习；最后，通过与基线模型的对比评估性能。

关键创新：本文的主要创新在于提出了一种新的数据选择方法，强调困难样本的使用，尤其是“不可解”样本的有效性，这与传统方法的样本选择策略有本质区别。

关键设计：在训练过程中，采用了特定的损失函数和网络结构，以确保模型能够在长推理链上进行有效学习，同时对样本的选择进行了严格的筛选，以保证训练数据的质量。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，仅使用8个困难样本进行训练的学生模型，其性能与使用17K样本的基线模型相当，表明困难样本的选择在提升模型性能方面具有显著效果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和复杂推理任务等。通过优化数据选择策略，能够显著提升模型在推理任务中的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

On-Policy Distillation (OPD) has emerged as a widely adopted post-training paradigm for enhancing large language models in reasoning domains. However, the data-centric mechanisms in OPD remain relatively underexplored. This paper presents a empirical study of data efficiency and data selection in OPD. We begin by investigating an extreme setting: training OPD on only one example, namely 1-shot OPD. Surprisingly, we find that 1-shot OPD is consistently effective across all sampled training examples and harder examples often yield superior performance gain. We next investigate what actually drives the student model's improvement in the training data. Our analysis reveals that the improvement is not driven by high token entropy, but the longer CoT paths which hard problems naturally generate. Training on longer CoT can help maintain closer alignment with the teacher over a long reasoning horizon, and learn critical thinking patterns usually missing in short CoTs, such as reflection (e.g., Alternatively''). Based on these insights, we propose a simple data selection method that selects only hard examples for training, where evenunsolvable'' examples that completely exceed the teacher's capability can be successfully used. Our experiments conducted on four models ranging from 1.5B to 7B show that training the student model on only 8 selected hard examples matches the performance of the 17K dataset baseline.