Gated Integration of Low-Rank Adaptation for Continual Learning of Large Language Models

📄 arXiv: 2505.15424v2 📥 PDF

作者: Yan-Shuo Liang, Jia-Rui Chen, Wu-Jun Li

分类: cs.CL

发布日期: 2025-05-21 (更新: 2025-10-26)

备注: Accepted to NeurIPS 2025

💡 一句话要点

提出GainLoRA，通过门控集成LoRA解决LLM持续学习中的灾难性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 大型语言模型 低秩适配 参数高效微调 灾难性遗忘 门控机制 知识保留

📋 核心要点

  1. 现有基于LoRA的持续学习方法，对新旧任务LoRA分支同等对待，易导致灾难性遗忘。
  2. GainLoRA通过门控模块集成新旧LoRA分支，并最小化新分支对旧任务的影响，缓解遗忘。
  3. 实验结果表明，GainLoRA在持续学习基准测试中优于现有最佳方法，提升模型整体性能。

📝 摘要（中文）

本文针对大型语言模型(LLM)的持续学习(CL)问题，提出了一种名为门控低秩适配集成(GainLoRA)的新方法。持续学习要求模型按顺序学习多个任务。最近，低秩适配(LoRA)作为一种具有代表性的参数高效微调(PEFT)方法，在LLM的CL中受到了越来越多的关注。然而，大多数现有的基于LoRA的CL方法通常扩展一个新的LoRA分支来学习每个新任务，并强制新的和旧的LoRA分支同等地影响旧任务，这可能会导致遗忘。GainLoRA为每个新任务扩展一个新的LoRA分支，并引入门控模块来集成新的和旧的LoRA分支。此外，GainLoRA利用新的门控模块来最小化新LoRA分支对旧任务的影响，从而有效地减轻遗忘并提高模型的整体性能。在CL基准上的实验结果表明，GainLoRA优于现有的最先进方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在持续学习场景下的灾难性遗忘问题。现有的基于LoRA的持续学习方法，通常为每个新任务扩展一个LoRA分支，并平等地对待新旧LoRA分支，导致模型在学习新任务时忘记旧任务的知识。

核心思路：GainLoRA的核心思路是通过引入门控机制，控制新LoRA分支对旧任务的影响。通过门控模块，模型可以学习到哪些旧的LoRA分支应该被激活，哪些应该被抑制，从而在学习新任务的同时，保留旧任务的知识。

技术框架：GainLoRA的整体框架如下：对于每个新任务，模型都会扩展一个新的LoRA分支。同时，引入一个门控模块，该模块接收新LoRA分支的输出和旧LoRA分支的输出作为输入，并输出一个加权后的LoRA分支。这个加权后的LoRA分支与原始的LLM参数结合，用于预测当前任务的输出。

关键创新：GainLoRA的关键创新在于门控模块的设计。该模块能够动态地调整新旧LoRA分支的权重，从而最小化新任务对旧任务的影响。这与现有方法中平等对待新旧LoRA分支的做法不同，是缓解灾难性遗忘的关键。

关键设计：门控模块的具体实现可以采用多种方式，例如，可以使用一个小型神经网络，该网络接收新旧LoRA分支的输出作为输入，并输出一个权重向量。该权重向量用于加权新旧LoRA分支的输出。损失函数的设计也至关重要，需要同时考虑新任务的性能和旧任务的保留程度。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个持续学习基准测试中验证了GainLoRA的有效性。实验结果表明，GainLoRA显著优于现有的基于LoRA的持续学习方法，在缓解灾难性遗忘和提升模型整体性能方面均取得了显著提升。具体的性能数据和提升幅度在论文中给出，这里未知。

🎯 应用场景

GainLoRA可应用于各种需要持续学习的LLM场景，例如，不断学习新领域知识的智能客服、持续适应用户偏好的个性化推荐系统等。该方法能够有效缓解灾难性遗忘，提升模型在动态环境中的适应能力，具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Continual learning (CL), which requires the model to learn multiple tasks sequentially, is crucial for large language models (LLMs). Recently, low-rank adaptation~(LoRA), one of the most representative parameter-efficient fine-tuning (PEFT) methods, has gained increasing attention in CL of LLMs. However, most existing CL methods based on LoRA typically expand a new LoRA branch to learn each new task and force the new and old LoRA branches to influence old tasks equally, potentially leading to forgetting. In this work, we propose a new method, called gated integration of low-rank adaptation (GainLoRA), for CL of LLMs. GainLoRA expands a new LoRA branch for each new task and introduces gating modules to integrate the new and old LoRA branches. Furthermore, GainLoRA leverages the new gating module to minimize the influence from the new LoRA branch to old tasks, effectively mitigating forgetting and improving the model's overall performance. Experimental results on CL benchmarks demonstrate that GainLoRA outperforms existing state-of-the-art methods.