Distilling What Matters: Confidence-Aware Selective Distillation for Large Language Models
作者: Ayan Sengupta, Vaibhav Seth, Tanmoy Chakraborty
分类: cs.CL
发布日期: 2026-09-29
备注: Accepted at NeurIPS 2026
💡 一句话要点
提出CaRE-KD以解决大语言模型蒸馏中的不确定性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识蒸馏 大语言模型 置信度机制 模型校准 深度学习
📋 核心要点
- 现有的知识蒸馏方法假设教师模型是可靠的，但在大语言模型中，教师的高熵预测和幻觉现象会导致学生模型性能下降。
- 本文提出的CaRE-KD框架通过置信度门控机制，结合令牌级和批量级的损失函数，动态调整蒸馏过程以应对不确定性。
- 在八对教师-学生模型和多个基准任务中，CaRE-KD在指令跟随、代码生成等任务上均取得了显著的性能提升。
📝 摘要（中文）
知识蒸馏（KD）旨在训练一个小容量的学生模型以模仿大容量的教师模型，通常假设教师模型是可靠的。然而，在大语言模型（LLMs）中，这一假设常常失效，教师的预测可能表现出高熵和幻觉，导致标准KD降低学生模型的良好校准。为此，本文提出了CaRE-KD，一个基于置信度的选择性蒸馏框架，通过不确定性自适应优化替代静态目标。CaRE-KD包含两个组件：基于教师-学生置信度自适应切换的令牌级损失（CaRE-Divergence），以及在教师不确定性高于学生时抑制更新的批量级机制（Revival）。实验证明，CaRE-KD在多个基准任务中相较于强基线表现出一致的提升。
🔬 方法详解
问题定义：本文解决的是在大语言模型知识蒸馏中，教师模型的不确定性导致学生模型性能下降的问题。现有的知识蒸馏方法未能有效处理教师模型的高熵和幻觉现象。
核心思路：CaRE-KD框架的核心思路是通过置信度门控机制，动态调整蒸馏过程中的损失函数，以适应教师模型的预测不确定性，从而提高学生模型的校准性。
技术框架：CaRE-KD包含两个主要模块：令牌级损失（CaRE-Divergence）和批量级机制（Revival）。前者根据教师和学生的置信度自适应选择前向或反向KL散度，后者在教师不确定性高于学生时抑制更新。
关键创新：CaRE-KD的创新在于其双粒度设计，通过结合令牌级和批量级的损失函数，实现了条件校准机制，这是传统静态散度无法实现的。
关键设计：在损失函数设计上，CaRE-Divergence根据置信度动态切换，Revival机制则作为无损失的插件，增强了现有蒸馏目标的有效性。
🖼️ 关键图片
📊 实验亮点
在实验中，CaRE-KD在多个任务上表现出显著的性能提升，包括指令跟随任务上平均ROUGE-L提升3.2，MBPP任务的pass@1提升2.1，GSM8k和CollegeMath任务的准确率分别提升1.7和1.8。此外，在LLM作为判断者的事实性任务中，CaRE-KD也实现了每个任务平均提升2.5。
🎯 应用场景
该研究的潜在应用领域包括大语言模型的训练和优化，尤其是在需要高可靠性和准确性的任务中，如指令跟随、代码生成和数学推理等。通过改进知识蒸馏过程，CaRE-KD能够提升模型的实际应用效果，具有重要的实际价值和未来影响。
📄 摘要（原文）
Knowledge Distillation (KD) trains a smaller-capacity student model to imitate a larger-capacity teacher model by matching output distributions, implicitly assuming the teacher to be a reliable oracle. In large language models (LLMs), this assumption often fails: teacher predictions can exhibit high entropy and hallucinations, causing standard KD to degrade well-calibrated student priors. We propose CaRE-KD, a confidence-gated distillation framework that replaces static objectives with uncertainty-adaptive optimization. CaRE-KD has two components: a token-level loss (CaRE-Divergence) that adaptively switches between Forward and Reverse KL divergence based on teacher--student confidence, and a batch-level epistemic rejection mechanism (Revival) that suppresses updates when the teacher is more uncertain than the student. We provide a gradient-level analysis showing how this dual-granularity design induces a conditional calibration mechanism that prior static divergences cannot reproduce. Empirically, across eight teacher--student pairs and eleven benchmarks spanning instruction following, chat alignment, code generation, and mathematical reasoning, CaRE-KD delivers consistent gains over strong baselines (Skewed-KL, $α$--$β$ divergence). Highlights include up to $+3.2$ average ROUGE-L on instruction-following tasks, $+2.1$ pass@1 on MBPP, $+1.7$ accuracy on GSM8k, and $+1.8$ accuracy on CollegeMath over the strongest baseline, with consistent gains in LLM-as-a-judge factuality (up to $+2.5$ per task over Skewed-RKL). Revival further acts as a principled, loss-agnostic plug-in that systematically strengthens existing distillation objectives by filtering epistemically unreliable teacher supervision.