A Comparative Analysis of Task-Agnostic Distillation Methods for Compressing Transformer Language Models

📄 arXiv: 2310.08797v1 📥 PDF

作者: Takuma Udagawa, Aashka Trivedi, Michele Merler, Bishwaranjan Bhattacharjee

分类: cs.CL, cs.AI

发布日期: 2023-10-13

备注: Accepted to EMNLP 2023 Industry Track

💡 一句话要点

比较多种任务无关蒸馏方法以压缩Transformer语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 Transformer模型 多头注意力 模型压缩 自然语言处理

📋 核心要点

  1. 大型语言模型在实际应用中面临高推理成本的问题，限制了其部署效率。
  2. 本文提出了多种任务无关的蒸馏方法，包括输出分布、隐藏状态和多头注意力转移，以提高模型的效率。
  3. 实验结果显示，基于MiniLMv2的多头注意力转移表现最佳，而隐藏状态转移在复杂层映射策略下也具竞争力。

📝 摘要（中文）

大型语言模型在现代自然语言处理（NLP）中已成为关键组成部分，尽管它们在多种任务中取得了最先进的性能，但由于推理成本高，实际部署效率低下。知识蒸馏是一种有前景的技术，可以提高其效率，同时保留大部分有效性。本文重现、比较并分析了几种代表性的任务无关（通用）Transformer语言模型蒸馏方法，包括输出分布转移、隐藏状态转移及基于MiniLMv2的多头注意力转移。通过广泛的实验，我们研究了每种方法在单语（英语）和多语种环境下对不同学生架构的有效性。结果表明，基于MiniLMv2的多头注意力转移通常是蒸馏的最佳选择，并解释了其成功的潜在原因。

🔬 方法详解

问题定义：本文旨在解决大型Transformer语言模型在实际应用中推理成本高、效率低的问题。现有的蒸馏方法在不同任务和架构下的有效性尚未得到充分比较与分析。

核心思路：通过对多种任务无关的蒸馏方法进行重现和比较，探索不同蒸馏策略在不同学生模型架构中的表现，以找到最佳的蒸馏方案。

技术框架：研究包括输出分布转移、隐藏状态转移和基于MiniLMv2的多头注意力转移。实验在单语和多语种设置下进行，评估不同方法的有效性。

关键创新：本文的主要创新在于系统性地比较了多种蒸馏方法，并发现基于MiniLMv2的多头注意力转移在性能上优于其他方法，提供了新的见解。

关键设计：在隐藏状态转移中采用了复杂的层映射策略，以提高蒸馏效果；在多头注意力转移中，利用MiniLMv2的结构优化了蒸馏过程。实验中使用了多种学生模型架构进行评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于MiniLMv2的多头注意力转移方法在多种学生架构中表现最佳，显著提高了模型的推理效率。隐藏状态转移在复杂层映射策略下也表现出竞争力，而输出分布转移则相对落后于其他方法。这些发现为高效模型的部署提供了重要依据。

🎯 应用场景

该研究的潜在应用领域包括实时自然语言处理系统、移动设备上的智能助手以及其他对延迟敏感的应用场景。通过提高大型语言模型的效率，能够更好地满足实际应用需求，推动智能技术的普及与发展。

📄 摘要（原文）

Large language models have become a vital component in modern NLP, achieving state of the art performance in a variety of tasks. However, they are often inefficient for real-world deployment due to their expensive inference costs. Knowledge distillation is a promising technique to improve their efficiency while retaining most of their effectiveness. In this paper, we reproduce, compare and analyze several representative methods for task-agnostic (general-purpose) distillation of Transformer language models. Our target of study includes Output Distribution (OD) transfer, Hidden State (HS) transfer with various layer mapping strategies, and Multi-Head Attention (MHA) transfer based on MiniLMv2. Through our extensive experiments, we study the effectiveness of each method for various student architectures in both monolingual (English) and multilingual settings. Overall, we show that MHA transfer based on MiniLMv2 is generally the best option for distillation and explain the potential reasons behind its success. Moreover, we show that HS transfer remains as a competitive baseline, especially under a sophisticated layer mapping strategy, while OD transfer consistently lags behind other approaches. Findings from this study helped us deploy efficient yet effective student models for latency-critical applications.