MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting

📄 arXiv: 2407.00875v1 📥 PDF

作者: Tianhao Li, Shangjie Li, Binbin Xie, Deyi Xiong, Baosong Yang

分类: cs.CL, cs.AI

发布日期: 2024-06-25

备注: 13 pages, 2 figures

💡 一句话要点

提出MoE-CT架构，解决LLM在持续训练中低资源语言性能下降问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 持续学习 低资源语言 混合专家模型 灾难性遗忘 多语言建模 迁移学习

📋 核心要点

  1. 传统持续训练方法在扩展LLM到多语言时，易导致模型遗忘原有高资源语言的知识。
  2. MoE-CT通过冻结原始LLM参数，并附加MoE模块来学习低资源语言，实现知识分离。
  3. 实验表明，MoE-CT在提升低资源语言性能的同时，有效避免了高资源语言性能的下降。

📝 摘要（中文）

大型语言模型（LLMs）的发展主要集中在高资源语言上，导致低资源语言的性能存在差距。传统的持续训练（CT）方法在扩展到多语言环境时，往往会损害模型原有的语言能力。为了解决这个问题，我们提出了一种新颖的MoE-CT架构，该架构创新性地将基础模型的学习与多语言扩展过程分离。我们的设计冻结了原始LLM的参数，从而保证了其在高资源语言中的性能，同时附加了一个MoE模块，该模块在不同的语言数据集上进行训练，以提高低资源语言的熟练程度。实验表明，我们的方法明显优于传统的CT方法，在多语言基准测试中表现出显著的改进，而没有牺牲模型原有的语言性能。此外，我们的MoE-CT框架表现出更强的抗遗忘能力和卓越的迁移学习能力。通过保持基础模型的完整性并专注于战略性参数扩展，我们的方法推进了多语言语言建模，并代表了低资源语言纳入LLM的重要一步，为未来语言技术的研究指明了富有成效的方向。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在持续训练过程中，针对低资源语言进行扩展时，容易遗忘原有高资源语言知识的问题。现有的持续训练方法往往无法在提升低资源语言性能的同时，保持模型在原有高资源语言上的表现，造成灾难性遗忘。

核心思路：论文的核心思路是将基础模型的学习与多语言扩展过程解耦。通过冻结原始LLM的参数，保证其在高资源语言上的性能，然后利用一个独立的MoE（Mixture of Experts）模块来学习和提升低资源语言的性能。这样可以避免在训练低资源语言时对原始模型参数的修改，从而减少灾难性遗忘的风险。

技术框架：MoE-CT架构主要包含两个部分：一个预训练好的、参数冻结的基础LLM和一个附加的MoE模块。基础LLM负责处理高资源语言，并提供通用的语言理解能力。MoE模块由多个专家网络组成，每个专家网络负责处理特定的低资源语言或语言特征。在训练过程中，只有MoE模块的参数会被更新，而基础LLM的参数保持不变。输入数据会通过一个门控网络（Gating Network）来决定哪个或哪些专家网络应该被激活，从而实现对不同语言的差异化处理。

关键创新：该方法最重要的创新点在于将基础LLM与多语言扩展模块分离，通过冻结基础LLM的参数来防止灾难性遗忘。与传统的持续训练方法相比，MoE-CT避免了直接修改原始模型的参数，从而更好地保持了模型在原有语言上的性能。此外，MoE模块的使用允许模型针对不同的低资源语言学习特定的知识，提高了模型的泛化能力。

关键设计：MoE模块的关键设计包括专家网络的数量、门控网络的结构和训练策略。专家网络的数量需要根据低资源语言的数量和特征来确定。门控网络可以使用softmax函数或其他路由机制来选择激活的专家网络。训练策略通常包括两阶段：首先预训练基础LLM，然后固定基础LLM的参数，只训练MoE模块。损失函数通常包括语言建模损失和一些正则化项，以防止MoE模块过拟合。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MoE-CT在多语言基准测试中显著优于传统的持续训练方法。在提升低资源语言性能的同时，有效避免了高资源语言性能的下降。具体而言，MoE-CT在某些低资源语言上的性能提升超过10%，并且在高资源语言上的性能保持与原始模型相当的水平。此外，MoE-CT还表现出更强的抗遗忘能力和更好的迁移学习能力。

🎯 应用场景

该研究成果可应用于多语言机器翻译、跨语言信息检索、多语言对话系统等领域。通过提升LLM在低资源语言上的性能，可以促进语言技术的普及和应用，帮助更多人跨越语言障碍，获取信息和服务。未来，该方法有望应用于更多语言对，并与其他技术结合，进一步提升多语言LLM的性能和鲁棒性。

📄 摘要（原文）

The advent of large language models (LLMs) has predominantly catered to high-resource languages, leaving a disparity in performance for low-resource languages. Conventional Continual Training (CT) approaches to bridge this gap often undermine a model's original linguistic proficiency when expanding to multilingual contexts. Addressing this issue, we introduce a novel MoE-CT architecture, a paradigm that innovatively separates the base model's learning from the multilingual expansion process. Our design freezes the original LLM parameters, thus safeguarding its performance in high-resource languages, while an appended MoE module, trained on diverse language datasets, augments low-resource language proficiency. Our approach significantly outperforms conventional CT methods, as evidenced by our experiments, which show marked improvements in multilingual benchmarks without sacrificing the model's original language performance. Moreover, our MoE-CT framework demonstrates enhanced resistance to forgetting and superior transfer learning capabilities. By preserving the base model's integrity and focusing on strategic parameter expansion, our methodology advances multilingual language modeling and represents a significant step forward for low-resource language inclusion in LLMs, indicating a fruitful direction for future research in language technologies.