In-Context Learning Distillation for Efficient Few-Shot Fine-Tuning

📄 arXiv: 2412.13243v1 📥 PDF

作者: Yifei Duan, Liu Li, Zirui Zhai, Jinxia Yao

分类: cs.CL

发布日期: 2024-12-17

备注: 7 pages, 6 figures

💡 一句话要点

提出上下文学习蒸馏方法，实现高效小样本微调并显著压缩模型规模。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 上下文学习 知识蒸馏 小样本学习 自然语言推理 模型压缩

📋 核心要点

  1. 现有小样本学习方法在知识迁移和模型效率方面存在挑战，尤其是在资源受限的场景下。
  2. 论文提出上下文学习蒸馏方法，通过知识蒸馏将上下文学习的知识迁移到更小的模型中。
  3. 实验表明，该方法在显著降低模型规模的同时，提高了领域外准确率和内存效率。

📝 摘要（中文）

本文针对自然语言推理任务，在OPT-1.3B模型上应用小样本上下文学习，并采用知识蒸馏来内化上下文信息，将模型参数从13亿减少到1.25亿，模型大小从2.5GB缩减到0.25GB。与在类似规模模型上单独使用上下文学习相比，这种上下文蒸馏方法在领域外准确率方面提高了近50%，表明其知识迁移能力优于基于提示的方法。此外，与传统的基于模式的微调相比，该方法在降低高达60%内存消耗的同时，在领域外准确率方面提高了20%。

🔬 方法详解

问题定义：现有的小样本学习方法，例如直接进行微调或者使用In-Context Learning，通常存在模型参数量大、计算资源消耗高的问题，难以在资源受限的场景下部署。此外，基于Prompt的方法在知识迁移能力上存在局限性，难以泛化到新的领域。

核心思路：论文的核心思路是利用知识蒸馏技术，将大型语言模型通过In-Context Learning学到的上下文信息，迁移到小型语言模型中。这样既能保留In-Context Learning的知识迁移能力，又能大幅度降低模型规模，提高推理效率。

技术框架：整体框架包含两个主要阶段：首先，使用大型语言模型（如OPT-1.3B）在小样本设置下，通过In-Context Learning学习自然语言推理任务。然后，将大型模型的输出作为“教师信号”，训练一个小型语言模型（如125M模型），使其模仿大型模型的行为。这个过程就是知识蒸馏，目标是让小型模型能够内化大型模型从上下文中学习到的知识。

关键创新：最关键的创新点在于将In-Context Learning与知识蒸馏相结合。传统的知识蒸馏通常是迁移预训练模型的知识，而本文是迁移In-Context Learning获得的上下文知识。这使得小型模型能够获得更强的知识迁移能力，从而在小样本场景下表现更好。与直接对小型模型进行微调相比，该方法能够更好地利用大型模型的知识。

关键设计：论文的关键设计包括：选择合适的蒸馏损失函数，例如交叉熵损失或KL散度损失，用于衡量小型模型和大型模型输出之间的差异。此外，还需要仔细设计In-Context Learning的Prompt，以确保大型模型能够充分利用上下文信息。具体的参数设置和网络结构选择可能需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，上下文学习蒸馏方法在领域外准确率方面比单独使用上下文学习的模型提高了近50%，证明了其卓越的知识迁移能力。与传统的基于模式的微调相比，该方法在降低高达60%内存消耗的同时，在领域外准确率方面提高了20%。此外，该方法成功将模型大小从2.5GB缩减到0.25GB，实现了显著的模型压缩。

🎯 应用场景

该研究成果可应用于各种资源受限的自然语言处理场景，例如移动设备上的智能助手、边缘计算设备上的实时翻译等。通过降低模型规模和提高推理效率，该方法使得在这些场景下部署复杂的自然语言处理模型成为可能，从而提升用户体验和应用价值。未来，该方法还可以扩展到其他任务和模态，例如图像分类、语音识别等。

📄 摘要（原文）

We applied few-shot in-context learning on the OPT-1.3B model for the natural language inference task and employed knowledge distillation to internalize the context information, reducing model parameter from 1.3B to 125M and achieving a size reduction from 2.5GB to 0.25GB. Compared to using in-context learning alone on similarly sized models, this context distillation approach achieved a nearly 50% improvement in out-of-domain accuracy, demonstrating superior knowledge transfer capabilities over prompt-based methods. Furthermore, this approach reduced memory consumption by up to 60% while delivering a 20% improvement in out-of-domain accuracy compared to conventional pattern-based fine-tuning.