Empirical Evaluation of Knowledge Distillation from Transformers to Subquadratic Language Models
作者: Patrick Haller, Jonas Golde, Alan Akbik
分类: cs.CL, cs.AI
发布日期: 2025-04-19 (更新: 2025-05-24)
💡 一句话要点
研究Transformer到亚二次复杂度语言模型的知识蒸馏效果，探索高效模型压缩方案
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识蒸馏 语言模型压缩 亚二次复杂度模型 Transformer 状态空间模型
📋 核心要点
- Transformer模型的自注意力机制存在计算复杂度高的瓶颈，限制了其在资源受限场景的应用。
- 通过知识蒸馏，将Transformer教师模型的知识迁移到亚二次复杂度的学生模型，实现模型压缩和加速。
- 实验评估了多种亚二次复杂度模型在知识蒸馏下的性能，并分析了架构设计和初始化策略的影响。
📝 摘要（中文）
知识蒸馏是一种广泛应用于压缩大型语言模型（LLM）的技术，其核心思想是训练一个较小的学生模型来模仿较大的教师模型。通常，教师模型和学生模型都基于Transformer架构，利用softmax注意力进行序列建模。然而，自注意力在推理过程中的二次复杂度仍然是一个显著的瓶颈，促使人们探索亚二次复杂度的替代方案，如结构化状态空间模型（SSM）、线性注意力和循环架构。本文系统地评估了从Transformer教师模型到八种亚二次复杂度学生架构的知识蒸馏的可迁移性。研究探讨了哪种亚二次模型可以通过知识蒸馏最有效地逼近教师模型学习到的表示，以及不同的架构设计选择如何影响训练动态。此外，还研究了初始化策略（如矩阵混合和QKV复制）对适应过程的影响。在多个NLP基准上的实证结果提供了效率和性能之间的权衡，突出了成功将知识转移到亚二次架构的关键因素。
🔬 方法详解
问题定义：论文旨在解决大型Transformer语言模型推理速度慢的问题，尤其是在资源受限的环境中。现有方法主要依赖Transformer架构，但其自注意力机制的计算复杂度为二次方级别，限制了其应用。因此，需要探索更高效的亚二次复杂度模型，同时保持良好的性能。
核心思路：论文的核心思路是通过知识蒸馏，将大型Transformer教师模型学习到的知识迁移到更小的、亚二次复杂度的学生模型中。这样可以在保持一定性能的前提下，显著降低模型的计算复杂度，提高推理速度。通过模仿教师模型的输出和中间表示，学生模型可以学习到教师模型的泛化能力。
技术框架：整体框架包括一个预训练好的Transformer教师模型和多个亚二次复杂度的学生模型。训练过程分为两个阶段：首先，训练一个大型Transformer模型作为教师模型；然后，使用教师模型的输出和中间表示作为监督信号，训练亚二次复杂度的学生模型。学生模型包括结构化状态空间模型（SSM）、线性注意力和循环架构等。
关键创新：论文的关键创新在于系统性地评估了多种亚二次复杂度模型作为学生模型在知识蒸馏中的表现。通过对比不同架构的学生模型，分析了哪些模型能够更好地逼近Transformer教师模型的知识。此外，还研究了不同的初始化策略（如矩阵混合和QKV复制）对学生模型训练的影响。
关键设计：论文的关键设计包括：1) 选择合适的亚二次复杂度模型作为学生模型，例如结构化状态空间模型（SSM）、线性注意力和循环架构；2) 设计合适的损失函数，包括模仿教师模型输出的损失和模仿中间表示的损失；3) 探索不同的初始化策略，例如矩阵混合和QKV复制，以加速学生模型的训练；4) 针对不同的学生模型，调整超参数以获得最佳性能。
🖼️ 关键图片
📊 实验亮点
论文系统评估了八种亚二次复杂度模型作为学生模型在知识蒸馏中的表现，发现某些模型能够有效地逼近Transformer教师模型的性能。研究还发现，合适的初始化策略（如QKV复制）可以显著提高学生模型的训练效率。实验结果表明，通过知识蒸馏，可以在显著降低计算复杂度的同时，保持较高的模型性能。
🎯 应用场景
该研究成果可应用于移动设备、嵌入式系统等资源受限的场景，实现高效的自然语言处理。例如，可以将大型语言模型压缩到小型设备上，用于智能助手、机器翻译、文本摘要等任务。此外，该研究还可以促进亚二次复杂度模型的发展，为未来的语言模型设计提供新的思路。
📄 摘要（原文）
Knowledge distillation is a widely used technique for compressing large language models (LLMs), in which a smaller student model is trained to mimic a larger teacher model. Typically, both the teacher and student models are Transformer-based architectures, leveraging softmax attention for sequence modeling. However, the quadratic complexity of self-attention during inference remains a significant bottleneck, motivating the exploration of subquadratic alternatives such as structured state-space models (SSMs), linear attention, and recurrent architectures. In this work, we systematically evaluate the transferability of knowledge distillation from a Transformer teacher model to eight subquadratic student architectures. Our study investigates which subquadratic model can most effectively approximate the teacher model's learned representations through knowledge distillation, and how different architectural design choices influence the training dynamics. We further investigate the impact of initialization strategies, such as matrix mixing and query-key-value (QKV) copying, on the adaptation process. Our empirical results on multiple NLP benchmarks provide insights into the trade-offs between efficiency and performance, highlighting key factors for successful knowledge transfer to subquadratic architectures.