Ensemble-Instruct: Generating Instruction-Tuning Data with a Heterogeneous Mixture of LMs

📄 arXiv: 2310.13961v1 📥 PDF

作者: Young-Suk Lee, Md Arafat Sultan, Yousef El-Kurdi, Tahira Naseem Asim Munawar, Radu Florian, Salim Roukos, Ramón Fernandez Astudillo

分类: cs.CL, cs.AI

发布日期: 2023-10-21

期刊: EMNLP 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出Ensemble-Instruct以生成高质量指令调优数据

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 小型语言模型 数据生成 集成学习 自然语言处理

📋 核心要点

  1. 现有的Self-Instruct和Alpaca方法依赖于大型语言模型，限制了其应用范围和可获取性。
  2. 论文提出通过分类和简化ICL模板，以及集成多个模型输出的方法，来生成更高质量的指令调优数据。
  3. 实验结果显示，该方法生成的数据质量优于Self-Instruct，且小型指令调优模型的性能显著提升。

📝 摘要（中文）

本研究探讨了使用小型语言模型（10B-40B参数）生成指令调优数据的方法，克服了现有方法依赖于大型专有模型的限制。通过对ICL模板的分类和简化，以及对多个模型输出的集成，提出了新的ICL方法。实验证明，该方法生成的指令调优数据质量高于Self-Instruct，并显著提升了模型性能，尤其是小型指令调优模型的输出更具实用性。

🔬 方法详解

问题定义：本研究旨在解决现有指令调优数据生成方法对大型语言模型的依赖问题。现有方法如Self-Instruct在小型模型上效果不佳，限制了其应用。

核心思路：论文提出的新方法通过对ICL模板进行分类和简化，使得小型语言模型更易于学习，同时通过集成多个模型的输出，选择高质量的合成示例。

技术框架：整体流程包括两个主要阶段：首先是对175个Self-Instruct种子任务的处理，其次是分别为需要输入和不需要输入的指令建立独立的处理管道。

关键创新：最重要的创新在于提出了新的ICL方法，结合了模板简化和模型输出集成的思想，显著提高了指令调优数据的质量。与现有方法相比，该方法在小型模型上表现更佳。

关键设计：在参数设置上，采用了适合小型模型的ICL模板，并设计了有效的损失函数以优化模型输出质量。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，所提出的方法生成的指令调优数据质量显著高于Self-Instruct，且在多个基准测试中，指令调优模型的性能提升幅度达到显著水平，尤其是小型模型的输出质量更为优越。

🎯 应用场景

该研究的潜在应用领域包括对话系统、智能助手和其他需要自然语言理解的任务。通过使用小型语言模型生成高质量的指令调优数据，可以降低对大型模型的依赖，提升模型的可用性和可访问性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Using in-context learning (ICL) for data generation, techniques such as Self-Instruct (Wang et al., 2023) or the follow-up Alpaca (Taori et al., 2023) can train strong conversational agents with only a small amount of human supervision. One limitation of these approaches is that they resort to very large language models (around 175B parameters) that are also proprietary and non-public. Here we explore the application of such techniques to language models that are much smaller (around 10B--40B parameters) and have permissive licenses. We find the Self-Instruct approach to be less effective at these sizes and propose new ICL methods that draw on two main ideas: (a) Categorization and simplification of the ICL templates to make prompt learning easier for the LM, and (b) Ensembling over multiple LM outputs to help select high-quality synthetic examples. Our algorithm leverages the 175 Self-Instruct seed tasks and employs separate pipelines for instructions that require an input and instructions that do not. Empirical investigations with different LMs show that: (1) Our proposed method yields higher-quality instruction tuning data than Self-Instruct, (2) It improves performances of both vanilla and instruction-tuned LMs by significant margins, and (3) Smaller instruction-tuned LMs generate more useful outputs than their larger un-tuned counterparts. Our codebase is available at https://github.com/IBM/ensemble-instruct.