Efficient Knowledge Distillation via Curriculum Extraction
作者: Shivam Gupta, Sushrut Karmalkar
分类: cs.LG, cs.AI, math.ST, stat.ML
发布日期: 2025-03-21
💡 一句话要点
提出高效知识蒸馏方法以解决大规模训练挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识蒸馏 深度学习 模型训练 随机投影 稀疏奇偶性 变换器架构 高效学习
📋 核心要点
- 现有的知识蒸馏方法在大规模训练中面临存储和选择中间检查点的挑战，效率较低。
- 本文提出通过从完全训练的教师网络中提取课程，利用随机投影逐步训练学生网络，简化了训练过程。
- 实验结果显示，该方法在稀疏奇偶性学习和变换器架构下均优于传统的一次性蒸馏，性能接近渐进蒸馏。
📝 摘要（中文）
知识蒸馏是一种通过大教师网络的输出训练小学生网络的技术，具有许多经验优势。传统的一次性蒸馏方法仅使用教师网络的最终输出，而近期研究表明，利用教师训练过程中的中间检查点作为隐式“课程”进行渐进蒸馏可以显著加速训练。然而，这种方法需要存储检查点，并且通常需要仔细选择中间检查点，尤其在大规模训练中显得不切实际。本文提出了一种从完全训练的教师网络中提取课程的方法，该提取的课程能够提供与渐进蒸馏相似的效率优势。我们的方法通过对教师网络的隐藏表示进行随机投影，逐步训练学生网络，最终使用完整网络的输出进行训练。实验结果表明，该方法显著优于一次性蒸馏，并在稀疏奇偶性学习和语言建模任务中表现出色。
🔬 方法详解
问题定义：本文旨在解决传统知识蒸馏方法在大规模训练中存储和选择中间检查点的不足，导致训练效率低下的问题。
核心思路：提出从完全训练的教师网络中提取课程，通过随机投影教师网络的隐藏表示来逐步训练学生网络，从而避免了中间检查点的存储和选择。
技术框架：整体方法包括两个主要阶段：首先，通过随机投影生成教师网络的隐藏表示；其次，利用这些表示逐步训练学生网络，最后再使用教师网络的完整输出进行训练。
关键创新：最重要的创新点在于课程提取的方式，利用随机投影而非存储中间检查点，使得训练过程更加高效且易于实施。
关键设计：在参数设置上，采用了适当的随机投影维度，并设计了适合稀疏奇偶性学习的损失函数，确保学生网络能够有效学习教师网络的知识。整体网络结构保持简单，便于实现和扩展。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在稀疏奇偶性学习任务中显著优于传统的一次性蒸馏，性能接近渐进蒸馏。此外，在变换器架构下，该方法在语言建模任务中也显示出明显的性能提升，验证了其广泛适用性。
🎯 应用场景
该研究的潜在应用领域包括深度学习模型的训练优化，尤其是在资源受限的环境中。通过提高知识蒸馏的效率，可以加速模型的部署与应用，推动智能系统在实际场景中的广泛应用，如自然语言处理和计算机视觉等领域。
📄 摘要（原文）
Knowledge distillation is a technique used to train a small student network using the output generated by a large teacher network, and has many empirical advantages~\citep{Hinton2015DistillingTK}. While the standard one-shot approach to distillation only uses the output of the final teacher network, recent work~\citep{panigrahi2024progressive} has shown that using intermediate checkpoints from the teacher's training process as an implicit ``curriculum'' for progressive distillation can significantly speed up training. However, such schemes require storing these checkpoints, and often require careful selection of the intermediate checkpoints to train on, which can be impractical for large-scale training. In this paper, we show that a curriculum can be \emph{extracted} from just the fully trained teacher network, and that this extracted curriculum can give similar efficiency benefits to those of progressive distillation. Our extraction scheme is natural; we use a random projection of the hidden representations of the teacher network to progressively train the student network, before training using the output of the full network. We show that our scheme significantly outperforms one-shot distillation and achieves a performance similar to that of progressive distillation for learning sparse parities with two-layer networks, and provide theoretical guarantees for this setting. Additionally, we show that our method outperforms one-shot distillation even when using transformer-based architectures, both for sparse-parity learning, and language modeling tasks.