Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data

📄 arXiv: 2411.08028v3 📥 PDF

作者: Juanhui Li, Sreyashi Nag, Hui Liu, Xianfeng Tang, Sheikh Sarwar, Limeng Cui, Hansu Gu, Suhang Wang, Qi He, Jiliang Tang

分类: cs.AI

发布日期: 2024-11-12 (更新: 2025-03-30)

💡 一句话要点

提出LLKD：利用无标签数据，通过知识蒸馏从大语言模型中学习，提升小模型性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 大型语言模型 无监督学习 样本选择 数据效率

📋 核心要点

  1. 大型语言模型计算成本高，难以直接部署，而小模型训练面临标注数据稀缺的问题。
  2. LLKD利用大模型生成伪标签，并结合教师模型的置信度和学生模型的需求，自适应选择高质量样本。
  3. 实验表明，LLKD在多种数据集上表现优异，在数据效率方面有显著提升。

📝 摘要（中文）

大型语言模型(LLM)由于其在海量数据集上的广泛训练，为现实世界的NLP应用提供了有前景的解决方案。然而，LLM的巨大规模和高计算需求限制了它们在许多应用中的实用性，尤其是在需要进一步微调时。为了解决这些限制，通常首选较小的模型进行部署。然而，它们的训练受到标记数据稀缺的阻碍。相比之下，无标签数据通常很容易获得，可以利用LLM生成伪标签来训练较小的模型。这使得较小的模型(学生)能够从LLM(教师)那里获取知识，同时降低计算成本。这个过程引入了挑战，例如潜在的噪声伪标签。因此，选择高质量和信息丰富的数据对于提高模型性能，同时提高数据利用效率至关重要。为了解决这个问题，我们提出了LLKD，它支持使用更少的计算资源和更少的数据，从LLM中进行知识蒸馏。LLKD是一种自适应样本选择方法，它结合了来自教师和学生的信号。具体来说，它优先考虑教师在其标签中表现出高置信度的样本，表明标签可靠，以及学生表现出高信息需求的样本，识别需要进一步学习的具有挑战性的样本。我们全面的实验表明，LLKD在各种数据集上实现了卓越的性能，并具有更高的数据效率。

🔬 方法详解

问题定义：论文旨在解决小模型在缺乏标注数据的情况下，如何有效利用大型语言模型(LLM)的知识进行学习的问题。现有方法直接使用LLM生成的伪标签进行训练，但伪标签中存在噪声，导致模型性能受限。此外，简单地使用所有伪标签数据进行训练效率低下，浪费计算资源。

核心思路：论文的核心思路是自适应地选择高质量和信息量大的伪标签数据进行训练。通过结合教师模型（LLM）的置信度和学生模型的学习需求，筛选出更可靠且对学生模型更有价值的样本。这样既能减少噪声数据的影响，又能提高数据利用效率。

技术框架：LLKD (Learning with Less for Knowledge Distillation) 的整体框架包含以下几个主要步骤： 1. 伪标签生成：使用大型语言模型为无标签数据生成伪标签。 2. 置信度评估：评估教师模型（LLM）对每个伪标签的置信度。 3. 信息需求评估：评估学生模型对每个样本的信息需求，即学生模型对该样本预测的不确定性。 4. 样本选择：根据教师模型的置信度和学生模型的信息需求，自适应地选择样本进行训练。 5. 知识蒸馏：使用选择的样本，通过知识蒸馏的方式训练学生模型。

关键创新：LLKD的关键创新在于其自适应样本选择策略。与传统方法不同，LLKD不仅考虑了教师模型的置信度，还考虑了学生模型的信息需求。这种双重信号的结合使得LLKD能够更准确地选择出高质量和信息量大的样本，从而提高知识蒸馏的效率和效果。

关键设计：LLKD的关键设计包括： 1. 置信度度量：使用教师模型输出的概率分布的熵来衡量其置信度，熵越低表示置信度越高。 2. 信息需求度量：使用学生模型预测结果的熵来衡量其信息需求，熵越高表示信息需求越高。 3. 样本选择策略：设计一个结合置信度和信息需求的评分函数，根据评分选择样本。具体函数形式未知，论文中可能未详细公开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLKD在多个数据集上优于现有的知识蒸馏方法。具体性能提升数据未知，但论文强调LLKD在数据效率方面有显著优势，即在更少的数据量下，能够达到甚至超过其他方法使用更多数据所取得的性能。

🎯 应用场景

LLKD可应用于各种自然语言处理任务，尤其是在标注数据稀缺的场景下。例如，可以利用LLKD训练特定领域的文本分类器、情感分析器或命名实体识别器。该方法能够降低模型训练成本，提高模型性能，加速LLM在实际应用中的落地。

📄 摘要（原文）

In real-world NLP applications, Large Language Models (LLMs) offer promising solutions due to their extensive training on vast datasets. However, the large size and high computation demands of LLMs limit their practicality in many applications, especially when further fine-tuning is required. To address these limitations, smaller models are typically preferred for deployment. However, their training is hindered by the scarcity of labeled data. In contrast, unlabeled data is often readily which can be leveraged by using LLMs to generate pseudo-labels for training smaller models. This enables the smaller models (student) to acquire knowledge from LLMs(teacher) while reducing computational costs. This process introduces challenges, such as potential noisy pseudo-labels. Selecting high-quality and informative data is therefore critical to enhance model performance while improving the efficiency of data utilization. To address this, we propose LLKD that enables Learning with Less computational resources and less data for Knowledge Distillation from LLMs. LLKD is an adaptive sample selection method that incorporates signals from both the teacher and student. Specifically, it prioritizes samples where the teacher demonstrates high confidence in its labeling, indicating reliable labels, and where the student exhibits a high information need, identifying challenging samples that require further learning. Our comprehensive experiments show that LLKD achieves superior performance across various datasets with higher data efficiency.