Honey, I Shrunk the Language Model: Impact of Knowledge Distillation Methods on Performance and Explainability
作者: Daniel Hendriks, Philipp Spitzer, Niklas Kühl, Gerhard Satzger
分类: cs.CL
发布日期: 2025-04-22
💡 一句话要点
提出基于批判-修正提示的知识蒸馏方法，提升小模型性能与可解释性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识蒸馏 大型语言模型 批判-修正提示 模型可解释性 常识问答
📋 核心要点
- 大型语言模型计算和存储成本高昂，难以在资源受限环境部署。
- 论文提出基于批判-修正提示的知识蒸馏方法，并综合现有训练方法。
- 通过常识问答数据集进行系统比较，评估性能和可解释性。
📝 摘要（中文）
人工智能，特别是大型语言模型（LLMs），对现代社会的影响日益增强。然而，LLMs的高计算和存储需求限制了它们在资源受限环境中的部署。知识蒸馏通过从大型教师模型训练小型学生模型来解决这一挑战。以往的研究已经为生成训练数据和训练学生模型引入了几种蒸馏方法。尽管它们具有相关性，但尚未彻底研究和比较最先进的蒸馏方法对模型性能和可解释性的影响。在这项工作中，我们通过将批判-修正提示应用于数据生成的蒸馏，并通过综合现有方法进行训练，从而扩大了可用方法的集合。对于这些方法，我们基于广泛使用的常识问答（CQA）数据集提供了系统的比较。在通过学生模型的准确性来衡量性能的同时，我们采用以人为本的研究来评估可解释性。我们贡献了新的蒸馏方法及其在性能和可解释性方面的比较。这应进一步促进小型语言模型的蒸馏，从而有助于LLM技术的更广泛适用和更快传播。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）在资源受限环境中部署困难的问题。现有知识蒸馏方法在模型性能和可解释性方面缺乏系统性的研究和比较，并且数据生成方法有待改进。
核心思路：论文的核心思路是通过改进知识蒸馏的数据生成和训练过程，提升小型学生模型的性能和可解释性。具体而言，引入批判-修正提示（critique-revision prompting）来生成更高质量的训练数据，并综合现有的训练方法，以更有效地训练学生模型。
技术框架：整体框架包含两个主要阶段：数据生成阶段和模型训练阶段。在数据生成阶段，使用教师模型生成初始数据，然后利用批判-修正提示对数据进行改进。在模型训练阶段，使用生成的数据训练学生模型，并综合使用多种训练方法，例如知识蒸馏损失、交叉熵损失等。
关键创新：论文的关键创新在于将批判-修正提示应用于知识蒸馏的数据生成过程。与传统的直接生成数据的方法相比，批判-修正提示能够生成更高质量、更具信息量的训练数据，从而提升学生模型的性能。此外，论文还综合了现有的多种训练方法，并进行了系统的比较。
关键设计：批判-修正提示的具体实现方式是：首先，教师模型生成一个初始答案；然后，一个“批判”模型（可以是另一个语言模型或人工标注）对该答案进行评价，指出其不足之处；最后，一个“修正”模型根据批判的意见对答案进行修改，生成最终的训练数据。在训练学生模型时，使用了知识蒸馏损失（例如KL散度）来模仿教师模型的输出分布，并结合交叉熵损失来优化学生模型的预测准确率。具体参数设置和网络结构的选择取决于具体的实验设置。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了所提出的方法的有效性。在常识问答（CQA）数据集上，使用批判-修正提示生成的训练数据训练的学生模型，在性能上优于使用传统方法训练的模型。此外，人工评估表明，使用该方法训练的模型具有更好的可解释性，能够生成更清晰、更易于理解的答案。
🎯 应用场景
该研究成果可应用于各种资源受限的场景，例如移动设备、嵌入式系统和边缘计算设备。通过知识蒸馏，可以将大型语言模型的知识迁移到小型模型中，从而使这些设备能够运行复杂的自然语言处理任务，例如问答、文本摘要和机器翻译。这有助于推动人工智能技术在更广泛领域的应用。
📄 摘要（原文）
Artificial Intelligence (AI) has increasingly influenced modern society, recently in particular through significant advancements in Large Language Models (LLMs). However, high computational and storage demands of LLMs still limit their deployment in resource-constrained environments. Knowledge distillation addresses this challenge by training a small student model from a larger teacher model. Previous research has introduced several distillation methods for both generating training data and for training the student model. Despite their relevance, the effects of state-of-the-art distillation methods on model performance and explainability have not been thoroughly investigated and compared. In this work, we enlarge the set of available methods by applying critique-revision prompting to distillation for data generation and by synthesizing existing methods for training. For these methods, we provide a systematic comparison based on the widely used Commonsense Question-Answering (CQA) dataset. While we measure performance via student model accuracy, we employ a human-grounded study to evaluate explainability. We contribute new distillation methods and their comparison in terms of both performance and explainability. This should further advance the distillation of small language models and, thus, contribute to broader applicability and faster diffusion of LLM technology.