Amuro and Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models

📄 arXiv: 2408.06663v5 📥 PDF

作者: Kaiser Sun, Mark Dredze

分类: cs.CL, cs.AI

发布日期: 2024-08-13 (更新: 2025-03-18)

备注: Rep4NLP Camera Ready

💡 一句话要点

研究预训练与微调关系：持续预训练提升模型潜在能力，微调后模型对prompt更敏感。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 预训练 微调 持续学习 知识遗忘

📋 核心要点

  1. 现有大型语言模型依赖预训练-微调范式，但二者关系尚不明确，影响模型性能。
  2. 通过微调多个预训练中间状态的模型，探究持续预训练对模型能力的影响。
  3. 实验表明持续预训练提升模型潜在能力，但微调可能导致模型遗忘知识，并对prompt更敏感。

📝 摘要（中文）

大型语言模型的发展催生了预训练-对齐范式，其中模型通常在大型文本语料库上进行预训练，然后进行微调阶段，以使模型与人类偏好或下游任务对齐。在这项工作中，我们通过微调多个中间预训练模型检查点来研究预训练和微调之间的关系。我们在18个数据集上的结果表明：i) 持续预训练以一种潜在的方式改进模型，这种改进在微调后显现出来；ii) 通过额外的微调，模型在预训练阶段表现不佳的数据集比表现良好的数据集获得更大的能力提升；iii) 虽然模型通过监督微调显著受益，但它可能会忘记先前已知的领域知识和在微调期间未见过的任务；iv) 模型在监督微调后对评估提示表现出高度敏感性，但这种敏感性可以通过更多的预训练来缓解。

🔬 方法详解

问题定义：论文旨在研究大型语言模型预训练和微调阶段之间的关系。现有方法缺乏对预训练过程中模型能力演变的细致分析，以及微调对模型知识保留和泛化能力的影响。现有研究未能充分揭示持续预训练的价值，以及微调可能带来的负面影响，如知识遗忘和对prompt的过度敏感。

核心思路：论文的核心思路是通过微调预训练过程中的多个中间检查点，观察模型在不同阶段的能力表现。通过对比不同阶段微调后的模型在多个数据集上的性能，分析持续预训练的收益、微调对模型知识的影响，以及模型对prompt的敏感性变化。这种方法能够更细粒度地理解预训练和微调之间的相互作用。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择一个大型语言模型作为基础模型；2) 在预训练过程中保存多个中间检查点；3) 使用监督微调方法，在多个数据集上对每个检查点进行微调；4) 在一系列评估任务上测试微调后的模型，并分析其性能表现；5) 分析模型在不同阶段对prompt的敏感性。

关键创新：论文的关键创新在于其研究方法，即通过微调预训练过程中的多个中间检查点来分析预训练和微调之间的关系。这种方法能够更细粒度地观察模型能力的演变，并揭示持续预训练的潜在价值。此外，论文还发现了微调可能导致模型遗忘知识，并对prompt产生过度敏感性的问题，为未来的研究提供了新的方向。

关键设计：论文的关键设计包括：1) 选择具有代表性的数据集进行微调和评估，涵盖不同的任务类型和领域；2) 使用标准的监督微调方法，例如Adam优化器和交叉熵损失函数；3) 设计不同的评估prompt，以测试模型对prompt的敏感性；4) 采用合适的指标来衡量模型的性能，例如准确率、F1值等。具体的参数设置（如学习率、batch size等）和网络结构细节（如Transformer层数、隐藏层大小等）在论文中可能有所描述，但此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，持续预训练能够以一种潜在的方式提升模型能力，这种提升在微调后才能显现。此外，对于预训练阶段表现不佳的数据集，额外的微调能够带来更大的性能提升。然而，微调也可能导致模型遗忘先前已知的知识，并对评估prompt产生高度敏感性。更多的预训练可以缓解这种prompt敏感性。

🎯 应用场景

该研究成果可应用于大型语言模型的训练和优化，指导预训练和微调策略的选择。通过理解预训练和微调之间的关系，可以更好地利用持续预训练的优势，并减轻微调可能带来的负面影响。此外，该研究还可以帮助开发更鲁棒、更可靠的语言模型，提升其在各种下游任务中的性能。

📄 摘要（原文）

The development of large language models leads to the formation of a pre-train-then-align paradigm, in which the model is typically pre-trained on a large text corpus and undergoes a tuning stage to align the model with human preference or downstream tasks. In this work, we investigate the relationship between pre-training and fine-tuning by fine-tuning multiple intermediate pre-trained model checkpoints. Our results on 18 datasets suggest that i) continual pre-training improves the model in a latent way that unveils after fine-tuning; ii) with extra fine-tuning, the datasets that the model does not demonstrate capability gain much more than those that the model performs well during the pre-training stage; iii) although model benefits significantly through supervised fine-tuning, it may forget previously known domain knowledge and the tasks that are not seen during fine-tuning; iv) the model resembles high sensitivity to evaluation prompts after supervised fine-tuning, but this sensitivity can be alleviated by more pre-training.