Is Parameter Collision Hindering Continual Learning in LLMs?

📄 arXiv: 2410.10179v2 📥 PDF

作者: Shuo Yang, Kun-Peng Ning, Yu-Yang Liu, Jia-Yu Yao, Yong-Hong Tian, Yi-Bing Song, Li Yuan

分类: cs.LG, cs.CL

发布日期: 2024-10-14 (更新: 2024-12-24)

💡 一句话要点

N-LoRA：通过减少参数冲突提升LLM的持续学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 大型语言模型 参数冲突 低秩适应 灾难性遗忘

📋 核心要点

  1. 大型语言模型在持续学习中面临灾难性遗忘问题，现有方法如O-LoRA侧重于构建正交任务以解耦参数依赖。
  2. 论文提出非冲突参数是解决持续学习挑战的关键，并基于此提出了非冲突低秩适应(N-LoRA)方法。
  3. 实验结果表明，N-LoRA在多个持续学习基准上优于现有方法，实现了更高的任务正交性和更低的参数冲突。

📝 摘要（中文）

大型语言模型(LLMs)在顺序学习多个任务时经常遭受灾难性遗忘，这使得持续学习(CL)对于它们的动态部署至关重要。现有的最先进(SOTA)方法，如O-LoRA，通常侧重于构建正交任务，以解耦来自不同领域的参数相互依赖性。本文揭示了构建非冲突参数是解决CL挑战的更关键因素。我们的理论和实验分析表明，非冲突参数可以提供更好的任务正交性，这是一个充分但非必要的条件。此外，来自多个领域的知识将被保存在非冲突参数子空间中，使得遗忘先前见过的数据更加困难。利用这一见解，我们提出了一种非冲突低秩适应(N-LoRA)方法，这是一种简单而有效的方法，利用低冲突率来增强LLM中的CL。在多个CL基准上的实验结果表明，N-LoRA实现了优于SOTA方法的性能(+2.9)，更高的任务正交性(4.1倍)和更低的参数冲突(58.1倍)。

🔬 方法详解

问题定义：大型语言模型在持续学习多个任务时，会发生灾难性遗忘，即模型在学习新任务时，会忘记之前学习的任务。现有的方法，例如O-LoRA，试图通过构建正交的任务来解耦不同任务之间的参数依赖，但这种方法并没有直接解决参数冲突的问题，即不同任务的知识可能会存储在相同的参数中，导致遗忘。

核心思路：论文的核心思路是，减少参数冲突是提升持续学习性能的关键。论文认为，非冲突的参数能够提供更好的任务正交性，并且能够更好地保存来自不同领域的知识，从而减少遗忘。因此，论文提出了一种非冲突低秩适应(N-LoRA)方法，旨在减少参数冲突。

技术框架：N-LoRA方法基于LoRA（Low-Rank Adaptation），LoRA通过引入低秩矩阵来更新预训练模型的参数，从而减少了需要训练的参数量。N-LoRA在LoRA的基础上，通过一种新的策略来选择更新哪些参数，从而减少参数冲突。具体来说，N-LoRA会计算每个参数的冲突率，然后选择冲突率较低的参数进行更新。

关键创新：论文的关键创新在于，它揭示了参数冲突是影响持续学习性能的关键因素，并提出了一种简单而有效的减少参数冲突的方法N-LoRA。与现有方法相比，N-LoRA更加关注参数冲突问题，并且能够更好地保存来自不同领域的知识。

关键设计：N-LoRA的关键设计在于如何计算参数的冲突率以及如何选择更新哪些参数。论文使用一种基于梯度的相似度度量来计算参数的冲突率。具体来说，对于每个参数，论文会计算其在不同任务上的梯度的相似度，如果梯度相似度较高，则认为该参数的冲突率较高。然后，论文会选择冲突率较低的参数进行更新，从而减少参数冲突。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，N-LoRA在多个持续学习基准上优于现有的SOTA方法。具体来说，N-LoRA在性能上提升了2.9%，任务正交性提高了4.1倍，参数冲突降低了58.1倍。这些结果表明，N-LoRA能够有效地减少参数冲突，从而提升持续学习性能。

🎯 应用场景

该研究成果可应用于需要持续学习的各种大型语言模型应用场景，例如智能客服、对话系统、机器翻译等。通过减少灾难性遗忘，模型可以不断学习新的知识和技能，从而提高其性能和适应性。此外，该方法还可以用于个性化推荐、信息检索等领域，提升用户体验。

📄 摘要（原文）

Large Language Models (LLMs) often suffer from catastrophic forgetting when learning multiple tasks sequentially, making continual learning (CL) essential for their dynamic deployment. Existing state-of-the-art (SOTA) methods, such as O-LoRA, typically focus on constructing orthogonality tasks to decouple parameter interdependence from various domains.In this paper, we reveal that building non-collision parameters is a more critical factor in addressing CL challenges. Our theoretical and experimental analyses demonstrate that non-collision parameters can provide better task orthogonality, which is a sufficient but unnecessary condition. Furthermore, knowledge from multiple domains will be preserved in non-collision parameter subspaces, making it more difficult to forget previously seen data. Leveraging this insight, we propose Non-collision Low-Rank Adaptation (N-LoRA), a simple yet effective approach leveraging low collision rates to enhance CL in LLMs. Experimental results on multiple CL benchmarks indicate that N-LoRA achieves superior performance (+2.9), higher task orthogonality (4.1 times), and lower parameter collision (58.1 times) than SOTA methods.