On the Generalization of Knowledge Distillation: An Information-Theoretic View

📄 arXiv: 2605.13143v1 📥 PDF

作者: Bingying Li, Haiyun He

分类: cs.IT, cs.LG

发布日期: 2026-05-13

备注: 6 pages, accepted at ISIT 2026

💡 一句话要点

从信息论视角分析知识蒸馏的泛化能力，并提出相应的泛化界限。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 泛化能力 信息论 KL散度 算法稳定性

📋 核心要点

  1. 知识蒸馏缺乏坚实的理论基础，难以指导实践，现有方法未能充分解释其泛化能力。
  2. 将教师和学生的训练过程建模为耦合的随机过程，并引入蒸馏散度来衡量二者差异。
  3. 推导了学生模型泛化误差的上界和下界，并分析了教师模型局部平坦性对泛化界限的影响。

📝 摘要（中文）

知识蒸馏在实践中被广泛用于提高泛化能力，但其理论理解仍然不明确。在标准的蒸馏设置中，教师模型提供软预测来指导学生模型的训练。本文将教师和学生的训练建模为耦合的随机过程，并引入蒸馏散度，定义为这两个随机核之间的Kullback-Leibler散度。在此框架内，本文推导了相对于教师泛化差距的学生模型的两个泛化界限：在亚高斯假设下的通过算法稳定性的上界，以及在中心条件下的具有更清晰的蒸馏散度依赖性的下界。本文进一步开发了一个损失锐度感知界限，具有明确的紧致性机制，表明教师的局部平坦性可以严格地收紧界限。此外，在一个线性高斯案例研究中，蒸馏散度可以分解为偏差、方差和秩瓶颈成本，为蒸馏设计提供实用的指导。

🔬 方法详解

问题定义：知识蒸馏旨在利用教师模型的知识来提升学生模型的性能，尤其是在泛化能力方面。然而，现有的知识蒸馏理论分析不足，难以解释其泛化能力提升的内在机制，也无法为蒸馏策略的设计提供有效的指导。现有方法通常缺乏对教师和学生模型训练过程的深入建模，以及对蒸馏过程中信息传递的量化分析。

核心思路：本文的核心思路是将教师和学生模型的训练过程视为耦合的随机过程，并利用信息论中的Kullback-Leibler散度（KL散度）来量化这两个过程之间的差异，即蒸馏散度。通过分析蒸馏散度与学生模型泛化误差之间的关系，从而建立知识蒸馏的泛化理论。这种方法能够更清晰地揭示教师模型如何影响学生模型的泛化能力。

技术框架：本文的技术框架主要包括以下几个部分： 1. 随机过程建模：将教师和学生模型的训练过程建模为随机过程，其中教师模型提供软标签，学生模型学习这些软标签。 2. 蒸馏散度定义：定义蒸馏散度为教师和学生模型训练过程对应的随机核之间的KL散度，用于衡量二者之间的差异。 3. 泛化界限推导：基于算法稳定性和中心极限定理，推导学生模型泛化误差的上界和下界，这些界限与蒸馏散度相关。 4. 损失锐度分析：分析教师模型的局部平坦性对泛化界限的影响，提出损失锐度感知界限。 5. 线性高斯案例研究：在线性高斯模型下，对蒸馏散度进行分解，分析其偏差、方差和秩瓶颈成本。

关键创新：本文最重要的技术创新点在于： 1. 蒸馏散度的引入：首次将KL散度引入知识蒸馏的理论分析中，用于量化教师和学生模型训练过程的差异。 2. 泛化界限的推导：推导了与蒸馏散度相关的学生模型泛化误差的上界和下界，为知识蒸馏的泛化能力提供了理论依据。 3. 损失锐度感知界限：提出了考虑教师模型局部平坦性的泛化界限，进一步收紧了泛化误差的估计。

关键设计： 1. 随机核的选择：选择合适的随机核来描述教师和学生模型的训练过程，例如高斯核或拉普拉斯核。 2. 蒸馏散度的计算：根据随机核的定义，计算教师和学生模型之间的蒸馏散度。 3. 泛化界限的参数设置：根据具体的模型和数据集，设置泛化界限中的相关参数，例如亚高斯参数和中心极限定理的条件。

📊 实验亮点

论文推导了学生模型泛化误差的上界和下界，并证明了教师模型的局部平坦性可以收紧泛化界限。在线性高斯案例研究中，蒸馏散度被分解为偏差、方差和秩瓶颈成本，为蒸馏设计提供了可解释的指导。

🎯 应用场景

该研究成果可应用于各种需要知识蒸馏的场景，例如模型压缩、模型加速、迁移学习等。通过理论指导，可以设计更有效的蒸馏策略，提升学生模型的泛化能力和鲁棒性。此外，该研究还可以为开发新的知识蒸馏算法提供理论基础。

📄 摘要（原文）

Knowledge distillation is widely used to improve generalization in practice, yet its theoretical understanding remains elusive. In the standard distillation setting, a teacher model provides soft predictions to guide the training of a student model. We model teacher and student training as coupled stochastic processes and introduce a distillation divergence, defined as the Kullback-Leibler divergence between these two stochastic kernels. Within this framework, we derive two generalization bounds for the student model relative to the teacher's generalization gap: an upper bound under a sub-Gaussian assumption via algorithmic stability, and a lower bound under a central condition with sharper dependence on the distillation divergence. We further develop a loss-sharpness-aware bound with an explicit tightness regime, showing that the teacher's local flatness can strictly tighten the bound. Additionally, in a linear Gaussian case study, the distillation divergence admits an interpretable decomposition into bias, variance, and rank-bottleneck costs, yielding practical guidance for distillation design.