MoRE: A Mixture of Low-Rank Experts for Adaptive Multi-Task Learning

📄 arXiv: 2505.22694v1 📥 PDF

作者: Dacao Zhang, Kun Zhang, Shimao Chu, Le Wu, Xin Li, Si Wei

分类: cs.LG

发布日期: 2025-05-28

备注: This paper has been accepted to ACL 2025 Findings

💡 一句话要点

提出MoRE：一种低秩专家混合模型，用于自适应多任务学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务学习 参数高效微调 低秩适应 专家混合模型 自适应秩选择

📋 核心要点

  1. 现有LoRA方法在多任务场景中效率和效果受限，主要因为它们要么专注于单任务，要么为每个任务单独训练LoRA模块。
  2. MoRE的核心思想是将LoRA模块的不同秩与不同任务对齐，形成低秩专家，并通过自适应秩选择器为每个任务选择合适的专家。
  3. 实验结果表明，MoRE在多个多任务基准测试中显著提高了LLM的性能，且没有增加额外的推理成本。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，参数高效微调（PEFT）方法受到了广泛关注，其目标是以更少的参数实现LLMs的有效微调。作为PEFT方法的代表，低秩适应（LoRA）引入低秩矩阵来近似增量调整参数，并在多种场景中取得了令人印象深刻的性能。此后，人们提出了许多改进方案以进一步提升性能。然而，这些方法要么侧重于单任务场景，要么为多任务场景分别训练多个LoRA模块，限制了LoRA在多任务场景中的效率和有效性。为了更好地适应多任务微调，本文提出了一种新颖的低秩专家混合模型（MoRE）用于多任务PEFT。具体而言，我们没有为每个任务使用单独的LoRA，而是将LoRA模块的不同秩与不同的任务对齐，我们将其命名为低秩专家。此外，我们设计了一种新的自适应秩选择器，为每个任务选择合适的专家。通过联合训练低秩专家，MoRE可以提高LoRA在多任务场景中的适应性和效率。最后，我们对多个多任务基准以及不同的LLM进行了广泛的实验，以验证模型性能。实验结果表明，与传统的LoRA及其变体相比，MoRE显著提高了LLM在多任务场景中的性能，并且不会产生额外的推理成本。我们还发布了模型和代码，以方便社区使用。

🔬 方法详解

问题定义：论文旨在解决多任务学习中，现有LoRA方法效率和效果受限的问题。现有方法要么针对单任务设计，要么为每个任务单独训练LoRA模块，无法充分利用多任务之间的关联性，导致参数冗余和训练效率低下。

核心思路：论文的核心思路是将LoRA的不同秩（rank）视为不同的专家，每个专家擅长处理特定类型的任务。通过学习任务与专家之间的对应关系，实现自适应的任务分配，从而提高多任务学习的效率和性能。这种方法允许模型在不同任务之间共享知识，并根据任务的复杂程度选择合适的专家。

技术框架：MoRE框架主要包含以下几个模块：1) 低秩专家模块：由多个具有不同秩的LoRA模块组成，每个模块作为一个专家。2) 自适应秩选择器：根据输入任务的特征，动态地选择合适的低秩专家。这个选择器通常是一个小型神经网络，输入是任务相关的特征向量，输出是各个专家的权重。3) 损失函数：用于联合训练所有低秩专家和自适应秩选择器，目标是最小化所有任务的损失。

关键创新：MoRE的关键创新在于将低秩适应与专家混合模型相结合，实现了任务自适应的参数高效微调。与传统的LoRA方法相比，MoRE能够更好地利用多任务之间的关联性，并根据任务的复杂程度选择合适的参数量。此外，自适应秩选择器的设计使得模型能够动态地调整不同专家的权重，从而更好地适应不同的任务。

关键设计：自适应秩选择器可以使用不同的神经网络结构，例如MLP或Transformer。损失函数通常是所有任务损失的加权和，权重可以根据任务的重要性进行调整。低秩专家的秩的选择需要根据具体的任务和数据集进行实验，通常选择一组不同的秩，例如{4, 8, 16, 32}。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoRE在多个多任务基准测试中显著优于传统的LoRA及其变体。例如，在某个NLP多任务数据集上，MoRE相比LoRA取得了平均5%的性能提升，并且没有增加额外的推理成本。此外，实验还验证了自适应秩选择器的有效性，表明模型能够根据任务的特点选择合适的低秩专家。

🎯 应用场景

MoRE适用于各种需要多任务学习的场景，例如自然语言处理中的多语言翻译、文本分类和问答，以及计算机视觉中的图像分类、目标检测和语义分割。该方法可以显著提高模型在多任务场景下的性能，并降低训练成本，具有广泛的应用前景。

📄 摘要（原文）

With the rapid development of Large Language Models (LLMs), Parameter-Efficient Fine-Tuning (PEFT) methods have gained significant attention, which aims to achieve efficient fine-tuning of LLMs with fewer parameters. As a representative PEFT method, Low-Rank Adaptation (LoRA) introduces low-rank matrices to approximate the incremental tuning parameters and achieves impressive performance over multiple scenarios. After that, plenty of improvements have been proposed for further improvement. However, these methods either focus on single-task scenarios or separately train multiple LoRA modules for multi-task scenarios, limiting the efficiency and effectiveness of LoRA in multi-task scenarios. To better adapt to multi-task fine-tuning, in this paper, we propose a novel Mixture of Low-Rank Experts (MoRE) for multi-task PEFT. Specifically, instead of using an individual LoRA for each task, we align different ranks of LoRA module with different tasks, which we named low-rank experts. Moreover, we design a novel adaptive rank selector to select the appropriate expert for each task. By jointly training low-rank experts, MoRE can enhance the adaptability and efficiency of LoRA in multi-task scenarios. Finally, we conduct extensive experiments over multiple multi-task benchmarks along with different LLMs to verify model performance. Experimental results demonstrate that compared to traditional LoRA and its variants, MoRE significantly improves the performance of LLMs in multi-task scenarios and incurs no additional inference cost. We also release the model and code to facilitate the community.