Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs

📄 arXiv: 2410.10739v1 📥 PDF

作者: Ishan Jindal, Chandana Badrinath, Pranjal Bharti, Lakkidi Vinay, Sachin Dev Sharma

分类: cs.CL

发布日期: 2024-10-14

💡 一句话要点

研究持续预训练与指令微调的平衡，优化LLM的指令遵循能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 持续预训练 指令微调 指令遵循 计算效率

📋 核心要点

  1. 现有LLM需要持续预训练以更新知识，但指令微调成本高昂，如何在计算资源有限的情况下，保持LLM的指令遵循能力是一个挑战。
  2. 该研究探索了持续预训练对基础LLM和指令微调LLM指令遵循能力的影响，旨在找到一种计算效率高的策略。
  3. 通过在LLaMa 3和Qwen 2系列模型上的实验，验证了持续预训练策略对指令遵循能力的影响，并提出了优化方案。

📝 摘要（中文）

大型语言模型(LLM)的公开使用需要持续预训练，以保持与最新数据同步。同时，模型还需要通过特定指令进行微调，以保持其准确遵循指令的能力。通常，LLM以两个版本发布：基础LLM，在多样化数据上进行预训练；以及指令优化LLM，额外使用特定指令进行训练，以获得更好的指令遵循能力。本文探讨了LLM的持续预训练和指令微调之间的复杂关系，并研究了持续预训练对基础模型及其指令微调模型的指令遵循能力的影响。此外，指令微调过程计算密集，需要大量手工标注的示例才能使模型有效学习。本研究旨在找到最具计算效率的策略，以获得最新的知识和指令遵循能力，而无需任何指令数据和微调。我们在LLaMa 3、3.1和Qwen 2、2.5系列的基础模型和指令模型上实证证明了我们的发现，从而对不同大小的预训练数据语料库和不同的LLM设置进行了全面的探索。

🔬 方法详解

问题定义：现有的大型语言模型需要不断地进行预训练，以保持其知识的时效性。然而，指令微调是提升模型指令遵循能力的关键步骤，但它需要大量的标注数据和计算资源。因此，如何在持续预训练的同时，有效地保持和提升模型的指令遵循能力，是一个重要的研究问题。现有方法要么只关注预训练，忽略了指令遵循能力的保持，要么过度依赖指令微调，导致计算成本过高。

核心思路：本文的核心思路是研究持续预训练对基础模型和指令微调模型指令遵循能力的影响，并找到一个平衡点，使得模型在持续学习新知识的同时，能够有效地保持其指令遵循能力。通过对比在不同阶段进行预训练的模型，分析其指令遵循能力的差异，从而找到最优的预训练策略。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择基础LLM和指令微调LLM；2) 对基础LLM和指令微调LLM进行持续预训练；3) 使用指令遵循评估数据集评估模型的指令遵循能力；4) 分析预训练对指令遵循能力的影响，并提出优化策略。该框架旨在通过实验分析，揭示持续预训练和指令微调之间的相互作用。

关键创新：该研究的关键创新在于，它系统地研究了持续预训练对LLM指令遵循能力的影响，并提出了在计算资源有限的情况下，如何有效地保持和提升模型指令遵循能力的策略。与现有方法不同，该研究不仅关注预训练，还关注指令遵循能力的保持，并试图找到一个平衡点。

关键设计：该研究的关键设计包括：1) 选择具有代表性的LLM（如LLaMa 3和Qwen 2系列）；2) 使用不同大小的预训练数据集；3) 使用标准的指令遵循评估数据集；4) 设计合理的实验方案，以对比不同预训练策略的效果。此外，该研究还关注计算效率，旨在找到一种计算成本低的预训练策略。

🖼️ 关键图片

fig_0

📊 实验亮点

该研究在LLaMa 3和Qwen 2系列模型上进行了实验，结果表明，持续预训练对基础模型和指令微调模型的指令遵循能力有不同的影响。通过合理的预训练策略，可以在保持模型知识更新的同时，有效地保持其指令遵循能力，从而在计算资源有限的情况下，获得更好的性能。

🎯 应用场景

该研究成果可应用于各种需要持续学习和指令遵循能力的LLM应用场景，例如智能助手、聊天机器人、知识问答系统等。通过优化预训练和指令微调策略，可以降低模型的训练成本，提高模型的性能，并使其能够更好地适应不断变化的用户需求。

📄 摘要（原文）

Large Language Models (LLMs) for public use require continuous pre-training to remain up-to-date with the latest data. The models also need to be fine-tuned with specific instructions to maintain their ability to follow instructions accurately. Typically, LLMs are released in two versions: the Base LLM, pre-trained on diverse data, and the instruction-refined LLM, additionally trained with specific instructions for better instruction following. The question arises as to which model should undergo continuous pre-training to maintain its instruction-following abilities while also staying current with the latest data. In this study, we delve into the intricate relationship between continuous pre-training and instruction fine-tuning of the LLMs and investigate the impact of continuous pre-training on the instruction following abilities of both the base and its instruction finetuned model. Further, the instruction fine-tuning process is computationally intense and requires a substantial number of hand-annotated examples for the model to learn effectively. This study aims to find the most compute-efficient strategy to gain up-to-date knowledge and instruction-following capabilities without requiring any instruction data and fine-tuning. We empirically prove our findings on the LLaMa 3, 3.1 and Qwen 2, 2.5 family of base and instruction models, providing a comprehensive exploration of our hypotheses across varying sizes of pre-training data corpus and different LLMs settings.