Non-instructional Fine-tuning: Enabling Instruction-Following Capabilities in Pre-trained Language Models without Instruction-Following Data
作者: Juncheng Xie, Shensian Syu, Hung-yi Lee
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-08-27
备注: 16 pages, 2 figures, 15 tables
💡 一句话要点
提出非指令微调方法，无需指令数据即可提升预训练语言模型的指令遵循能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 指令微调 预训练语言模型 非指令学习 文本补全 模型对齐
📋 核心要点
- 现有指令微调方法依赖于大量人工标注或模型生成的指令数据，成本高昂且可能引入偏差。
- 该论文提出一种非指令微调方法，利用随机文本片段和大型语言模型补全生成数据，无需人工干预。
- 实验表明，使用非指令数据微调的预训练模型，在指令遵循能力上取得了显著提升，甚至可与指令微调模型媲美。
📝 摘要（中文）
指令微调对于大型语言模型（LLMs）学习遵循指令和与人类偏好对齐至关重要。传统上，指令微调需要包含指令和正确响应的监督数据。为了获得这些数据，一些研究人员提示像GPT-4这样训练有素的模型来生成指令和正确的响应。本文提出了一种新颖的方法，该方法使用OpenWebText中随机文本的前半部分作为指令，并使用GPT-3.5-turbo或GPT-4-turbo来完成文本作为响应。尽管数据是“非指令性的”，但我们发现，在此数据上进行微调的预训练LLM可以获得指令遵循能力。通过对几个著名的预训练LLM（例如LLaMA-2-7B，LLaMA-3-8B，LLaMA-3-70B，Mistral-7B-v0.1）进行微调，验证了这一观察结果。“非指令性数据”还改进了一些经过监督微调和人类偏好对齐的模型。我们通过“非指令性数据”微调的LLaMA-3-70B-Instruct在Arena Hard排行榜上与LLaMA-3.1-70B-Instruct相当。我们分析了“非指令性数据”，并确保它不包含与指令微调相关的内容。我们的发现将激发对如何在没有明确指令相关数据的情况下开发指令遵循能力的进一步研究。
🔬 方法详解
问题定义：现有指令微调方法依赖于大量的指令数据，这些数据通常需要人工标注或者通过大型语言模型生成。人工标注成本高昂，且容易引入人为偏差。而使用大型语言模型生成指令数据，则可能受到生成模型本身能力的限制，导致数据质量不高。因此，如何降低指令微调对指令数据的依赖，是一个重要的研究问题。
核心思路：该论文的核心思路是利用预训练语言模型本身所蕴含的知识，通过一种“非指令”的方式来引导模型学习指令遵循能力。具体来说，就是将随机文本片段作为“指令”，并利用另一个大型语言模型来补全该文本片段，将补全后的文本作为“响应”。这种方法的核心假设是，预训练语言模型在训练过程中已经学习到了大量的世界知识和语言模式，因此可以通过这种方式来激发模型的指令遵循能力。
技术框架：该论文的技术框架主要包括以下几个步骤：1) 从OpenWebText数据集中随机抽取文本片段；2) 将文本片段的前半部分作为“指令”，后半部分作为“响应”；3) 使用GPT-3.5-turbo或GPT-4-turbo等大型语言模型来补全文本片段，生成“响应”；4) 使用生成的“指令-响应”对来微调预训练语言模型。
关键创新：该论文最重要的技术创新点在于提出了“非指令微调”的概念，即无需显式的指令数据，即可提升预训练语言模型的指令遵循能力。这种方法打破了传统指令微调的范式，为降低指令微调的成本和难度提供了一种新的思路。
关键设计：在数据生成方面，论文选择OpenWebText数据集作为文本片段的来源，并使用GPT-3.5-turbo或GPT-4-turbo等大型语言模型来生成“响应”。在模型微调方面，论文使用了常见的预训练语言模型，如LLaMA-2-7B、LLaMA-3-8B、LLaMA-3-70B、Mistral-7B-v0.1等。论文还对“非指令数据”进行了分析，确保其不包含与指令微调相关的内容。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用非指令数据微调的LLaMA-3-70B-Instruct模型，在Arena Hard排行榜上与使用传统指令微调的LLaMA-3.1-70B-Instruct模型性能相当。此外，非指令数据还能够提升经过监督微调和人类偏好对齐的模型的性能，证明了该方法的有效性和通用性。
🎯 应用场景
该研究成果可广泛应用于各种自然语言处理任务中，尤其是在资源受限的场景下，例如低成本的对话系统、智能助手等。通过非指令微调，可以降低对高质量指令数据的依赖，加速模型的开发和部署。此外，该方法还可以用于提升现有指令微调模型的性能。
📄 摘要（原文）
Instruction fine-tuning is crucial for today's large language models (LLMs) to learn to follow instructions and align with human preferences. Conventionally, supervised data, including the instruction and the correct response, is required for instruction fine-tuning. To obtain such data, some researchers prompted well-trained models like GPT-4 to generate instructions and correct responses. In this paper, we propose a novel approach that uses the first half of a random text from OpenWebText as the instruction and GPT-3.5-turbo or GPT-4-turbo to complete the text as the response. Despite the data being "non-instructional", we found that pre-trained LLMs fine-tuned on this data can gain instruction-following capabilities. This observation is verified by fine-tuning several well-known pre-trained LLMs (e.g., LLaMA-2-7B, LLaMA-3-8B, LLaMA-3-70B, Mistral-7B-v0.1). The "non-instructional data" also improved some models that underwent supervised fine-tuning and human preference alignment. Our LLaMA-3-70B-Instruct fine-tuned through "non-instructional data" is comparable with LLaMA-3.1-70B-Instruct on the Arena Hard leaderboard. We analyzed the "non-instructional data" and ensured it is devoid of content related to instruction fine-tuning. Our findings will inspire further investigation into how to develop instruction-following capabilities without explicit instruction-related data.