Disentangling Self-Distillation: Measuring and Modeling Acquisition and Retention
作者: Luis Zuin, Alexis Huet, Dario Rossi, Zied Ben Houidi
分类: cs.AI, cs.LG
发布日期: 2026-09-30
💡 一句话要点
提出统一框架以优化自蒸馏过程中的获取与保留问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自蒸馏 模型微调 获取与保留 教师耦合 KL散度 自然语言处理 深度学习
📋 核心要点
- 现有自蒸馏方法在不同任务上表现不一致，导致获取与保留之间的权衡未得到系统性研究。
- 本文提出一个统一框架，系统性地训练三种轴向的所有组合，以探讨其对自蒸馏效果的影响。
- 实验结果表明，教师回滚源在矛盾任务中显著提高获取，教师耦合率影响获取效果，而KL方向的切换对不同模型的保留影响不同。
📝 摘要（中文）
自蒸馏与特权上下文通过让模型在参考响应的条件下逐步教导其无上下文副本，从而适应语言模型。本文通过分类法揭示现有方法在三个交织的轴向上存在差异：回滚源（学生或教师）、教师耦合（冻结或学生的指数移动平均）和KL方向（反向或正向）。我们提出一个统一框架，涵盖所有自蒸馏方法与经典监督微调，系统性地研究这些轴向的影响，发现回滚源在任务矛盾时影响最大，教师耦合对获取影响显著，而KL方向的切换对保留的影响因模型而异。
🔬 方法详解
问题定义：本文旨在解决自蒸馏过程中获取与保留之间的权衡问题。现有方法通常在固定组合下研究，导致结论不一致，缺乏系统性分析。
核心思路：通过建立一个统一框架，系统性地训练不同回滚源、教师耦合和KL方向的组合，以探讨其对自蒸馏效果的影响，进而揭示各个因素的作用机制。
技术框架：研究采用Qwen2.5-7B和Ministral-3-3B模型，进行1200次适应性训练，涵盖普通和矛盾任务。框架包括数据预处理、模型训练、效果评估等主要模块。
关键创新：提出的统一框架能够同时考虑多个因素的影响，揭示了教师回滚源和耦合率对获取的显著影响，且KL方向的选择对不同模型的保留效果有差异。
关键设计：在实验中，教师耦合率的设置是关键参数，采用了任务特定的耦合率来优化获取效果，损失函数设计上考虑了获取与保留的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在矛盾任务中，教师回滚源的使用使获取效果显著提高，获取率提升幅度超过学生回滚源，而教师耦合率的优化则在所有任务中均显著提升获取效果。KL方向的切换对不同模型的保留效果影响不同，展示了模型设计的复杂性。
🎯 应用场景
该研究在自然语言处理领域具有广泛的应用潜力，尤其是在模型微调和自适应学习方面。通过优化自蒸馏过程，可以提升模型在特定任务上的表现，推动智能助手、对话系统等应用的发展，未来可能影响更广泛的AI系统设计与实现。
📄 摘要（原文）
Self-distillation with privileged context adapts a language model from demonstrations by letting the model, once conditioned on a reference response, teach its context-free copy token by token. Our taxonomy reveals existing methods differ along three entangled axes: (i) the rollout source (student or teacher), (ii) the teacher coupling (frozen, or an exponential moving average of the student at some coupling rate) and (iii) the KL direction (reverse or forward), yet these axes are usually studied in fixed combinations and have led to conflicting conclusions. We formalize a unifying framework to encompass all self-distillation methods vs classic supervised fine-tuning: we train every combination of the three axes, on Qwen2.5-7B and Ministral-3-3B across ordinary and contradictory tasks, totaling 1,200 adaptation runs, to systematically investigate the impact of the above axes. We propose a controlled model of the same objective to explain the resulting acquisition-retention trade-offs. We find that (i) the rollout source matters mostly where the task contradicts the pretrained behavior: there teacher rollouts raise acquisition well above what student rollouts achieve, with almost no change in retention; (ii) the teacher coupling changes acquisition most, on every task: acquisition rises with the coupling rate, then falls past a task-specific rate; (iii) switching the KL direction costs retention in one model but not the other so which axis to tune first depends on the model. The controlled model reproduces the three trends.