iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs

📄 arXiv: 2609.24646v1 📥 PDF

作者: Ahmed Khaled Khamis, Xiaotong Ji, Hassan Jaber, Rasul Tutunov, Matthieu Zimmer, Jun Wang, Haitham Bou-Ammar

分类: cs.LG, cs.AI

发布日期: 2026-09-21

💡 一句话要点

提出iSDFT以解决持续学习中的教师信息控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自蒸馏 持续学习 信息控制 大语言模型 模型微调

📋 核心要点

  1. 现有的自蒸馏微调方法在教师信息转移上缺乏灵活性，导致模型在学习新技能时容易遗忘旧知识。
  2. iSDFT通过将教师视为预算信息源，动态选择与当前学生最接近的分布，从而控制信息转移的量和时机。
  3. 在多种模型和任务上，iSDFT在8个设置中有7个表现优于传统SDFT，且在保留率上显著提升，展示了其有效性。

📝 摘要（中文）

在政策自蒸馏微调(SDFT)中，模型从演示中学习新技能的同时减少遗忘，但其教师影响固定在完整的演示条件下，缺乏对信息转移的控制。本文提出信息近似自蒸馏微调(iSDFT)，将教师视为预算信息源，在每个令牌上选择最接近当前学生的分布，以满足教师信息约束。实验表明，iSDFT在四个异构大语言模型和两个专业化任务中，改善了传统SDFT的表现，且在原始基准测试中保持更高的保留率，展示了控制教师信息引入的时机和量对专业化的提升作用。

🔬 方法详解

问题定义：现有的自蒸馏微调(SDFT)方法在教师信息的转移上固定在完整的演示条件下，缺乏对信息转移量的控制，导致模型在学习新技能时容易遗忘旧知识。

核心思路：本文提出的信息近似自蒸馏微调(iSDFT)将教师视为预算信息源，在每个令牌上选择最接近当前学生的分布，以满足教师信息约束，从而实现动态的信息转移控制。

技术框架：iSDFT的整体架构包括信息选择模块和基准策略锚定模块。信息选择模块根据当前学生状态选择合适的教师信息，而基准策略锚定模块则确保学生模型不会偏离其原始策略。

关键创新：iSDFT的主要创新在于引入了信息预算的概念，允许模型在不同预测状态下灵活调整教师信息的转移量，这与传统方法的固定转移方式形成了鲜明对比。

关键设计：在iSDFT中，损失函数设计为考虑教师信息约束的闭合形式，并且在选择教师信息时采用了局部确定的倾斜度，以确保信息转移的有效性和灵活性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，iSDFT在8个模型任务设置中有7个超越了传统SDFT，并在原始基准测试中实现了73%的评估结果保持在基模型的0.5分以内，相较于最强基线的52%有显著提升。此外，在额外的数学、编码和竞赛数学基准测试中，iSDFT也取得了最大的平均提升。

🎯 应用场景

该研究在持续学习和自蒸馏领域具有广泛的应用潜力，尤其是在需要不断适应新任务的场景中，如自然语言处理、机器人控制和智能助手等。通过有效控制教师信息的引入，iSDFT能够提升模型的专业化能力，同时保持其广泛的适应性，未来可能推动更智能的自学习系统的发展。

📄 摘要（原文）

On-policy self-distillation fine-tuning (SDFT) learns new skills from demonstrations while reducing forgetting, but it always distils toward the full demonstration-conditioned teacher. This fixes teacher influence at the full-teacher endpoint, providing no control over how much demonstration information should be transferred at each prediction state. We introduce Information-Proximal SDFT (iSDFT), which instead treats the teacher as a budgeted source of information. At each token, iSDFT selects the distribution closest to the current student that satisfies a prescribed teacher-information constraint, yielding a closed-form exponential target with a locally determined tilt. To control cumulative drift, we further anchor the student to its frozen base policy. Across four heterogeneous LLM backbones and two specialisation tasks, iSDFT improves vanilla SDFT in 7 of 8 model-task settings and matches it in the remaining one. It also provides tighter retention on the original SDFT benchmark suite, with 73% of evaluations remaining within 0.5 points of the base model versus 52% for the strongest baseline, while achieving the largest mean improvement on all ten additional mathematics, coding, and competition-mathematics benchmarks. These results show that controlling how much and when teacher information is introduced improves specialisation while preserving broader capability.