Prediction-Only Distillation in Linear and Logistic Regression

📄 arXiv: 2607.15450 📥 PDF

作者: Hien Dang, Pratik Patil, Alessandro Rinaldo

分类: math.ST, cs.LG, stat.ML

发布日期: 2026-07-20

💡 一句话要点

提出预测仅蒸馏方法以解决训练数据缺乏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 预测混合 岭回归 逻辑回归 无标记学习 模型优化 伪标记

📋 核心要点

  1. 现有自蒸馏方法通常依赖于原始训练数据，而在实际应用中，标记数据往往不可用，限制了模型的有效性。
  2. 本文提出了一种新颖的预测混合方案，通过教师模型对新协变量进行伪标记，训练纯蒸馏学生模型，解决了数据缺乏的问题。
  3. 实验结果表明，在岭回归和二元逻辑回归中，所提方法的预测风险显著低于教师模型，且在不同正则化水平下均表现优异。

📝 摘要（中文）

自蒸馏（SD）通常在学生模型使用教师模型的原始训练输入时进行研究。然而，在许多实际应用中，标记的训练数据不再可用，仅能访问训练好的预测器和新的未标记协变量。本文研究了在仅进行预测的情况下的自蒸馏，通过一种新颖的预测混合方案，使用教师模型对新协变量进行伪标记，训练一个纯蒸馏的学生模型。我们推导了在一般各向异性协方差和确定性信号下，岭回归的最优混合预测风险的确定性等价，并证明该风险在几乎所有教师和学生正则化水平下均小于教师风险。最后，对于二元逻辑回归，我们展示了预测混合的效果优于教师和纯蒸馏分类器。

🔬 方法详解

问题定义：本文旨在解决在缺乏标记训练数据的情况下，如何有效利用已训练的模型进行预测的问题。现有自蒸馏方法依赖于原始训练数据，限制了其在实际应用中的适用性。

核心思路：论文提出了一种新颖的预测混合方案，利用教师模型对新协变量进行伪标记，训练一个纯蒸馏的学生模型，并通过加权组合教师和学生的预测来提升最终预测性能。

技术框架：整体架构包括三个主要阶段：首先，使用教师模型对新协变量进行伪标记；其次，训练一个纯蒸馏的学生模型；最后，通过加权组合教师和学生的预测，形成最终的预测结果。

关键创新：最重要的技术创新在于提出了在仅有未标记数据的情况下，通过伪标记和预测混合来实现自蒸馏，突破了传统方法对标记数据的依赖。

关键设计：在模型训练中，采用了岭回归的正则化技术，并通过小规模独立标记的校准集来估计最优混合权重，避免了额外的模型拟合。

📊 实验亮点

实验结果显示，在岭回归中，所提预测混合方法的风险在几乎所有教师和学生正则化水平下均低于教师模型风险。此外，在二元逻辑回归中，预测混合的性能超越了教师和纯蒸馏分类器，展示了显著的提升效果。

🎯 应用场景

该研究的潜在应用领域包括金融预测、医疗诊断和市场分析等场景，尤其是在标记数据稀缺的情况下，能够有效提升模型的预测能力。未来，该方法可能推动自蒸馏技术在更多实际应用中的普及与发展。

📄 摘要（原文）

Self-distillation (SD) is typically studied when the student is retrained on the teacher's original training inputs. In many practical deployments, however, the labeled training data are no longer available, and one has access only to the trained predictor and fresh unlabeled covariates. We study SD in this prediction-only regime through a fresh-X prediction-mixed scheme: a pure-distilled student is trained on fresh covariates pseudo-labeled by the teacher, and the final predictor is an affine combination of the teacher and student predictions. For ridge regression under proportional asymptotics, we derive deterministic equivalents for the optimally mixed prediction risk under general anisotropic covariance and deterministic signal. We show that this risk is strictly smaller than the teacher risk for almost every pair of teacher and student regularization levels, including when the fresh covariates are out-of-distribution and even when their covariance is isotropic. We further show that the optimal mixing weight cannot be identified from unlabeled data alone, but can be consistently estimated in a single post-training step using a small independent labeled calibration set, without additional model fitting. Finally, for binary logistic regression, we show that prediction mixing can outperform both the teacher and the pure-distilled classifier.