PMoE: Progressive Mixture of Experts with Asymmetric Transformer for Continual Learning

📄 arXiv: 2407.21571v1 📥 PDF

作者: Min Jae Jung, JooHee Kim

分类: cs.CL, cs.AI

发布日期: 2024-07-31

💡 一句话要点

提出PMoE，利用非对称Transformer和渐进式专家混合模型解决LLM的持续学习难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 灾难性遗忘 专家混合模型 Transformer 非对称网络

📋 核心要点

  1. 大型语言模型在持续学习中面临灾难性遗忘问题，导致模型性能下降和资源浪费。
  2. PMoE通过非对称Transformer结构和渐进式专家混合模型，将通用知识和新知识分离存储，减少知识覆盖。
  3. 实验结果表明，PMoE在TRACE和通用语言理解数据集上优于现有方法，有效缓解了灾难性遗忘。

📝 摘要（中文）

大型语言模型(LLM)在持续学习中面临灾难性遗忘的重大挑战，即新信息会覆盖先前获得的知识。这种限制导致了巨大的环境和经济浪费。本研究提出了PMoE，即具有非对称Transformer的渐进式专家混合模型，旨在通过利用非对称设计来最小化遗忘，其中浅层专门用于通用知识，深层用于新知识。PMoE在深层中结合了逐步添加的专家，以及一个将新知识有效地分配给适当专家的路由器。该路由器位于深层附近，利用聚合整合信息的深层特征。这使得路由器能够高效地执行，将新知识分配给适当的专家，这些专家在深层中逐步增加。在TRACE数据集和通用语言理解数据集上的大量实验表明，所提出的PMoE优于先前的最先进方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在持续学习过程中出现的灾难性遗忘问题。现有方法在学习新任务时，容易覆盖或修改先前学习的知识，导致模型在旧任务上的性能显著下降。这种现象限制了LLM在实际应用中的持续学习能力。

核心思路：论文的核心思路是利用专家混合模型（Mixture of Experts, MoE）和非对称Transformer结构，将通用知识和新知识分离存储。浅层Transformer负责存储通用知识，深层Transformer则逐步增加专家，用于学习新知识。通过这种方式，避免了新知识直接覆盖旧知识，从而缓解灾难性遗忘。

技术框架：PMoE模型的整体架构包含一个非对称Transformer和一个渐进式专家混合模块。浅层Transformer负责处理通用知识，深层Transformer则包含多个专家。当模型学习到新的知识时，会逐步在深层Transformer中增加新的专家。一个路由器（Router）负责将输入分配给合适的专家。路由器位于深层Transformer附近，利用深层特征进行知识分配。

关键创新：PMoE的关键创新在于其非对称Transformer结构和渐进式专家混合机制。非对称结构使得模型能够区分通用知识和新知识，并分别存储。渐进式专家混合机制允许模型在学习新知识时动态地增加专家，避免了对现有知识的干扰。路由器能够有效地将新知识分配给合适的专家，提高了模型的学习效率。与现有方法相比，PMoE能够更好地平衡新旧知识的学习，从而缓解灾难性遗忘。

关键设计：PMoE的关键设计包括：1) 非对称Transformer的层数分配，需要根据任务的复杂度和知识的通用性进行调整；2) 路由器的设计，需要保证能够有效地将输入分配给合适的专家；3) 专家数量的增长策略，需要根据新知识的规模和复杂程度进行调整；4) 损失函数的设计，需要平衡新旧知识的学习，避免过度拟合新知识而导致遗忘。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PMoE在TRACE数据集和通用语言理解数据集上均取得了显著的性能提升。与现有最先进的方法相比，PMoE能够更有效地缓解灾难性遗忘，并在新旧任务上都保持较高的性能。具体的性能数据需要在论文中查找，但总体趋势是PMoE优于其他基线模型。

🎯 应用场景

PMoE具有广泛的应用前景，例如：持续学习的聊天机器人，能够不断学习新的对话技巧和知识；能够适应不同领域知识的智能客服系统；以及需要不断更新知识的智能推荐系统。该研究有助于提升LLM在实际应用中的适应性和鲁棒性，降低模型维护和更新的成本。

📄 摘要（原文）

Large Language Models (LLMs) encounter significant challenges in continual learning due to catastrophic forgetting, where new information overwrites previously acquired knowledge. This limitation leads to substantial environmental and economic waste. In this study, we introduce the PMoE, Progressive Mixture of Experts with Asymmetric Transformer, which aims to minimize forgetting by utilizing an asymmetric design with shallow layers dedicated to general knowledge and deep layers for new knowledge. PMoE incorporates progressively added experts in deep layers and a router that allocates new knowledge to the appropriate experts efficiently. The router, positioned adjacent to the deep layers, utilizes deep features aggregating consolidated information. This enables the router to perform efficiently, allocating new knowledge to the appropriate experts, which progressively increase in the deep layers. Extensive experiments on TRACE datasets and general language understanding datasets demonstrate that the proposed PMoE outperforms previous state-of-the-art approaches.