Continually Post-training Small Models via Synthetic Self-distillation

📄 arXiv: 2610.13113v1 📥 PDF

作者: Woosung Koh, Hyunsoo Lee, Kyungjae Lee, Haeju Park, Dahyun Lee, Dasol Hwang, Moontae Lee

分类: cs.LG, cs.AI

发布日期: 2026-10-09

💡 一句话要点

提出合成自蒸馏方法以解决小模型持续学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 自蒸馏 小模型 合成自蒸馏 知识保留 机器学习 模型压缩

📋 核心要点

  1. 现有的自蒸馏微调方法在小模型上表现不佳，无法有效实现持续学习，导致知识遗忘和获取能力不足。
  2. 本文提出合成自蒸馏（SynthSelf），通过将任务外包给同类更大模型，模拟自蒸馏的分布重写，提升小模型的学习能力。
  3. 在四个获取数据集和十四个保留基准测试中，SynthSelf在三个小模型规模上均超越六种现有方法，验证了其有效性。

📝 摘要（中文）

持续后训练面临获取与保留的双重挑战：模型必须在学习新能力的同时保留先前知识。自蒸馏微调（SDFT）通过自监督和上下文示例缓解这一问题，但在小模型上效果不佳。为此，本文提出合成自蒸馏（SynthSelf），通过将任务外包给同类更大模型，解决小模型的学习与遗忘问题。实验表明，SynthSelf在多个数据集和基准测试中均优于现有方法，展示了其在小模型持续学习中的有效性。

🔬 方法详解

问题定义：本文旨在解决小模型在持续学习中面临的知识获取与遗忘问题。现有的自蒸馏微调方法在小模型上效果不佳，无法有效应对分布转移带来的挑战。

核心思路：提出合成自蒸馏（SynthSelf），通过将任务外包给同类更大模型，模拟自蒸馏的分布重写，确保小模型在保持原始分布的同时获得高质量的监督。

技术框架：SynthSelf的整体架构包括任务外包模块、离策略监督模块和拒绝采样模块。任务外包模块负责将学习任务转移至更大模型，离策略监督模块提供高质量的标签，而拒绝采样模块则确保生成的样本符合原始分布。

关键创新：SynthSelf的核心创新在于通过外包学习任务来解决小模型的学习与遗忘问题，这一方法与传统的自蒸馏方法在处理小模型时的直接依赖不同。

关键设计：在设计中，SynthSelf采用了特定的损失函数和网络结构，以确保小模型在学习新知识时不丢失已有知识，同时通过拒绝采样来优化样本质量。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在四个获取数据集和十四个保留基准测试中，SynthSelf在三个小模型规模上均超越六种现有方法，显示出显著的性能提升，尤其在低延迟应用场景中表现突出，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括移动设备上的智能助手、边缘计算中的实时推理和低延迟的在线学习系统。SynthSelf方法能够有效提升小模型的持续学习能力，使其在资源受限的环境中也能保持高效的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Continual post-training faces a dual challenge of acquisition and retention: models must learn new capabilities while preserving prior knowledge. While Self-Distillation Fine-Tuning (SDFT) mitigates this using self-supervision with in-context demonstrations, it relies on strong in-context learning and instruction-following abilities. Consequently, SDFT fails on smaller models critical for low-latency, on-device use. To enable continual learning at smaller scales, we first identify the root cause of failure. We show that poor acquisition and forgetting correlate linearly with the post-trained model's distribution shift, revealing the necessity of in-distribution learning. We thus introduce Synthetic Self-Distillation (SynthSelf), imitating SDFT's in-distribution rewrite by outsourcing the task to a minimally larger, same-family aligner. Coupled with off-policy supervision and rejection sampling, this provides the high-quality supervision small models require without breaking their original distribution. Evaluations spanning 4 acquisition datasets (including a mixture) and 14 retention benchmarks show SynthSelf consistently outperforms 6 methods (including off- and on-policy distillation) across 3 small model scales. Extensive further analyses confirm SynthSelf paves the way toward effective small-model continual learning.