MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts

📄 arXiv: 2408.01505v1 📥 PDF

作者: Lin Ning, Harsh Lara, Meiqi Guo, Abhinav Rastogi

分类: cs.CL

发布日期: 2024-08-02

💡 一句话要点

MoDE：一种基于混合Dyadic专家的高效多任务参数高效微调方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 多任务学习 大型语言模型 低秩适应 Dyadic专家

📋 核心要点

  1. 现有基于LoRA的多任务微调方法在下投影矩阵中存在冗余，限制了模型的效率。
  2. MoDE通过共享下投影矩阵和使用原子秩一适配器，实现了更细粒度的任务混合。
  3. 在SNI基准测试中，MoDE优于现有PEFT方法，且未引入额外参数，验证了其有效性。

📝 摘要（中文）

低秩适应（LoRA）等参数高效微调技术彻底改变了大型语言模型（LLM）对各种任务的适应。最近的研究探索了用于多任务设置的LoRA模块混合。然而，我们的分析揭示了这些架构的下投影矩阵中的冗余。这一观察结果促使我们提出了混合Dyadic专家（MoDE）方法，该方法为高效的多任务适应引入了一种新颖的设计。通过跨任务共享下投影矩阵并采用原子秩一适配器，以及允许更复杂的任务级别专业化的路由器来实现这一点。我们的设计允许更细粒度的混合，从而提高模型联合处理多个任务的能力。我们在包含700多个不同任务的Supernatural Instructions（SNI）基准上评估了MoDE，并证明它优于最先进的多任务参数高效微调（PEFT）方法，而无需引入额外的参数。我们的发现有助于更深入地理解多任务LLM适应中的参数效率，并为部署高性能、轻量级模型提供了一个实用的解决方案。

🔬 方法详解

问题定义：现有基于LoRA的多任务参数高效微调方法，例如混合LoRA模块，在下投影矩阵中存在冗余。这意味着模型在学习不同任务的特定表示时，存在不必要的参数开销，降低了参数效率。因此，如何设计一种更高效的多任务微调方法，减少参数冗余，同时保持或提升模型性能，是本文要解决的核心问题。

核心思路：MoDE的核心思路是通过共享下投影矩阵，并引入原子秩一适配器来实现更高效的多任务学习。具体来说，MoDE将下投影矩阵在所有任务之间共享，从而避免了冗余的参数学习。同时，MoDE使用原子秩一适配器来学习任务特定的信息，并通过路由器来控制不同任务对适配器的使用，从而实现更细粒度的任务混合。

技术框架：MoDE的整体架构包括一个共享的下投影矩阵、多个原子秩一适配器和一个路由器。首先，输入数据经过共享的下投影矩阵进行降维。然后，路由器根据任务信息选择合适的适配器。选定的适配器对降维后的数据进行处理，学习任务特定的信息。最后，适配器的输出与原始输入数据进行融合，得到最终的输出。

关键创新：MoDE的关键创新在于其参数共享机制和原子秩一适配器的使用。通过共享下投影矩阵，MoDE显著减少了参数冗余，提高了参数效率。原子秩一适配器则允许模型学习更细粒度的任务特定信息，从而提高了模型的性能。此外，路由器可以根据任务信息动态地选择适配器，从而实现了更灵活的任务混合。

关键设计：MoDE的关键设计包括：1）共享的下投影矩阵：所有任务共享同一个下投影矩阵，从而减少参数冗余。2）原子秩一适配器：每个适配器都是一个秩一矩阵，可以学习任务特定的信息。3）路由器：路由器根据任务信息选择合适的适配器，实现任务混合。4）损失函数：使用交叉熵损失函数来训练模型，并使用正则化项来防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MoDE在Supernatural Instructions (SNI) 基准测试中取得了显著成果，该基准包含700多个不同的任务。实验结果表明，MoDE在不引入额外参数的情况下，优于当前最先进的多任务参数高效微调（PEFT）方法。这证明了MoDE在多任务学习中的有效性和参数效率。

🎯 应用场景

MoDE适用于需要将大型语言模型快速适应到多个任务的场景，例如智能客服、多语言翻译、代码生成等。该方法可以显著减少模型参数量，降低部署成本，并提高模型的泛化能力。未来，MoDE可以进一步扩展到更多模态的任务，例如图像、语音等，并应用于更广泛的领域。

📄 摘要（原文）

Parameter-efficient fine-tuning techniques like Low-Rank Adaptation (LoRA) have revolutionized the adaptation of large language models (LLMs) to diverse tasks. Recent efforts have explored mixtures of LoRA modules for multi-task settings. However, our analysis reveals redundancy in the down-projection matrices of these architectures. This observation motivates our proposed method, Mixture of Dyadic Experts (MoDE), which introduces a novel design for efficient multi-task adaptation. This is done by sharing the down-projection matrix across tasks and employing atomic rank-one adapters, coupled with routers that allow more sophisticated task-level specialization. Our design allows for more fine-grained mixing, thereby increasing the model's ability to jointly handle multiple tasks. We evaluate MoDE on the Supernatural Instructions (SNI) benchmark consisting of a diverse set of 700+ tasks and demonstrate that it outperforms state-of-the-art multi-task parameter-efficient fine-tuning (PEFT) methods, without introducing additional parameters. Our findings contribute to a deeper understanding of parameter efficiency in multi-task LLM adaptation and provide a practical solution for deploying high-performing, lightweight models.