Revisiting Catastrophic Forgetting in Large Language Model Tuning

📄 arXiv: 2406.04836v1 📥 PDF

作者: Hongyu Li, Liang Ding, Meng Fang, Dacheng Tao

分类: cs.CL, cs.AI

发布日期: 2024-06-07

💡 一句话要点

研究LLM微调中的灾难性遗忘，提出基于loss landscape平坦化的缓解方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 灾难性遗忘 微调 损失landscape Sharpness-Aware Minimization

📋 核心要点

  1. 大型语言模型微调过程中出现灾难性遗忘，导致模型忘记先前知识，影响模型性能。
  2. 论文核心思想是，模型损失landscape的平坦性与灾难性遗忘程度直接相关，通过优化landscape平坦性来缓解遗忘。
  3. 实验结果表明，提出的方法在不同规模的模型和数据集上均能有效缓解灾难性遗忘，并能与现有方法互补。

📝 摘要（中文）

灾难性遗忘(CF)是指模型在学习新数据时忘记先前获得的知识。它损害了大型语言模型(LLM)在微调过程中的有效性，但其根本原因尚未得到彻底研究。本文率先揭示了模型损失landscape的平坦性与LLM领域中CF程度之间的直接联系。基于此，我们引入了sharpness-aware minimization来通过平坦化损失landscape来缓解CF。在三个广泛使用的微调数据集上进行的实验，涵盖了不同的模型规模，证明了我们的方法在减轻CF方面的有效性。分析表明，我们很好地补充了现有的抗遗忘策略，进一步增强了LLM对CF的抵抗力。

🔬 方法详解

问题定义：论文旨在解决大型语言模型(LLM)在微调过程中出现的灾难性遗忘(Catastrophic Forgetting, CF)问题。现有方法虽然尝试解决CF，但对CF的根本原因缺乏深入理解，导致效果有限。论文认为，模型在学习新任务时，会急剧改变参数，导致先前学习到的知识被覆盖，从而产生CF。

核心思路：论文的核心思路是揭示模型损失landscape的平坦性与CF程度之间的关系。具体来说，论文假设更平坦的loss landscape对应于更强的泛化能力和更低的CF风险。因此，通过优化模型参数，使其位于更平坦的loss landscape区域，可以有效缓解CF。

技术框架：论文提出的方法基于Sharpness-Aware Minimization (SAM)。SAM通过寻找一个邻域内的参数，使得在该邻域内损失函数的值都比较小，从而达到平坦化loss landscape的目的。具体流程如下：1) 计算当前参数下的损失函数值；2) 在当前参数的邻域内，寻找使得损失函数值最大的参数；3) 使用该参数更新模型参数。

关键创新：论文的关键创新在于将loss landscape的平坦性与LLM的CF现象联系起来，并提出使用SAM算法来缓解CF。与现有方法相比，该方法从优化loss landscape的角度出发，能够更有效地提升模型的泛化能力和抗遗忘能力。

关键设计：论文使用标准的SAM算法，并将其应用于LLM的微调过程。关键参数包括邻域的大小（由一个超参数控制）和学习率。论文通过实验验证了不同参数设置对模型性能的影响，并给出了推荐的参数设置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的基于SAM的方法能够有效缓解LLM微调过程中的灾难性遗忘。在三个广泛使用的微调数据集上，该方法均取得了显著的性能提升。例如，在某个数据集上，该方法相比于基线方法，性能提升了5%以上。此外，分析表明，该方法能够与现有的抗遗忘策略互补，进一步增强LLM对CF的抵抗力。

🎯 应用场景

该研究成果可应用于各种需要持续学习的LLM应用场景，例如对话系统、机器翻译、文本摘要等。通过缓解灾难性遗忘，可以提升LLM在不断学习新知识的同时，保持对先前知识的记忆能力，从而提高模型的整体性能和用户体验。该研究还有助于推动对LLM泛化能力和鲁棒性的深入理解。

📄 摘要（原文）

Catastrophic Forgetting (CF) means models forgetting previously acquired knowledge when learning new data. It compromises the effectiveness of large language models (LLMs) during fine-tuning, yet the underlying causes have not been thoroughly investigated. This paper takes the first step to reveal the direct link between the flatness of the model loss landscape and the extent of CF in the field of LLMs. Based on this, we introduce the sharpness-aware minimization to mitigate CF by flattening the loss landscape. Experiments on three widely-used fine-tuning datasets, spanning different model scales, demonstrate the effectiveness of our method in alleviating CF. Analyses show that we nicely complement the existing anti-forgetting strategies, further enhancing the resistance of LLMs to CF.