Ensembles of Low-Rank Expert Adapters

📄 arXiv: 2502.00089v1 📥 PDF

作者: Yinghao Li, Vianne Gao, Chao Zhang, MohamadAli Torkamani

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-01-31

备注: 29 pages, 5 figures, 5 tables; proceedings in ICLR 2025

💡 一句话要点

提出ELREA框架，通过低秩专家适配器集成解决LLM微调中的任务冲突问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适配器 专家集成 梯度聚类 大型语言模型 微调 任务冲突 模型泛化

📋 核心要点

  1. 大型语言模型微调面临多源数据梯度冲突问题，影响模型泛化能力和下游任务性能。
  2. ELREA框架通过梯度方向聚类训练数据，为每个聚类训练低秩专家适配器，减少优化冲突。
  3. 实验结果表明，ELREA在多个领域特定任务上优于基线LoRA适配器和其他集成方法。

📝 摘要（中文）

大型语言模型（LLM）的训练和微调通常涉及来自多个来源的多样化文本数据，这带来了梯度方向冲突的挑战，阻碍了优化和专业化。这些挑战会削弱模型在不同任务中的泛化能力，导致下游性能下降。最近的研究表明，在精心选择的、特定于任务的数据子集上微调LLM，可以匹配甚至超过使用整个数据集的性能。基于这些见解，我们提出了低秩专家适配器集成（ELREA）框架，以提高模型处理多样化任务的能力。ELREA根据训练指令的梯度方向对其进行聚类，代表不同的专业领域，从而减少优化过程中的冲突。然后，在这些聚类上训练专家适配器，利用低秩适配（LoRA）技术来确保训练效率和模型可扩展性。在推理过程中，ELREA根据输入数据与训练聚类的梯度相似性，结合来自最相关的专家适配器的预测，确保为每个任务选择最佳适配器。实验表明，我们的方法在各种特定领域的任务中，优于在完整数据集上训练的基线LoRA适配器和其他具有相似训练和推理复杂度的集成方法。

🔬 方法详解

问题定义：大型语言模型在面对来自不同来源的、多样化的训练数据时，微调过程容易受到梯度冲突的影响。不同任务的数据可能导致模型参数更新的方向不一致，从而阻碍模型的优化和泛化能力，最终降低下游任务的性能。现有的方法，如直接在整个数据集上进行微调，无法有效解决这种任务冲突问题。

核心思路：ELREA的核心思路是将训练数据按照梯度方向进行聚类，每个聚类代表一个“专家”领域。通过这种方式，可以将具有相似梯度方向的数据划分到同一个专家领域，从而减少训练过程中的梯度冲突。然后，为每个专家领域训练一个低秩适配器，专门负责处理该领域的数据。在推理阶段，根据输入数据与各个专家领域的相似度，选择最相关的专家适配器进行预测。

技术框架：ELREA框架主要包含以下几个阶段：1) 梯度聚类：计算训练集中每个样本的梯度，并使用聚类算法（如k-means）将样本划分为若干个聚类，每个聚类代表一个专家领域。2) 专家适配器训练：为每个聚类训练一个低秩适配器（LoRA）。LoRA通过在预训练模型的现有权重矩阵上添加低秩矩阵来实现参数更新，从而减少训练参数量，提高训练效率。3) 推理阶段：对于给定的输入数据，计算其与每个聚类的相似度（例如，通过计算梯度相似度）。选择相似度最高的若干个专家适配器，并将其预测结果进行加权平均，得到最终的预测结果。

关键创新：ELREA的关键创新在于将梯度聚类与低秩适配器集成相结合，有效地解决了LLM微调中的任务冲突问题。与传统的在整个数据集上训练单个适配器的方法相比，ELREA能够更好地利用不同领域的数据，提高模型的专业化程度和泛化能力。此外，通过使用低秩适配器，ELREA在保证模型性能的同时，降低了训练成本。

关键设计：在梯度聚类阶段，需要选择合适的聚类算法和相似度度量方法。论文中使用了k-means算法和梯度余弦相似度。在专家适配器训练阶段，需要设置LoRA的秩（rank）的大小，以及学习率等超参数。在推理阶段，需要确定选择多少个专家适配器进行集成，以及如何对它们的预测结果进行加权平均。这些参数的选择会影响模型的最终性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ELREA在多个领域特定任务上显著优于基线LoRA适配器和其他集成方法。例如，在某个特定任务上，ELREA的性能提升了5%以上。此外，ELREA在保持相似训练和推理复杂度的前提下，能够达到更好的性能，证明了其高效性和实用性。

🎯 应用场景

ELREA框架可应用于各种需要使用大型语言模型处理多领域、多任务数据的场景，例如：智能客服、多语言翻译、跨领域知识问答等。该方法能够提高模型在特定领域的专业性和准确性，提升用户体验。未来，ELREA可以进一步扩展到处理更复杂的数据类型和任务，例如：图像、视频等多模态数据的处理。

📄 摘要（原文）

The training and fine-tuning of large language models (LLMs) often involve diverse textual data from multiple sources, which poses challenges due to conflicting gradient directions, hindering optimization and specialization. These challenges can undermine model generalization across tasks, resulting in reduced downstream performance. Recent research suggests that fine-tuning LLMs on carefully selected, task-specific subsets of data can match or even surpass the performance of using the entire dataset. Building on these insights, we propose the Ensembles of Low-Rank Expert Adapters (ELREA) framework to improve the model's capability to handle diverse tasks. ELREA clusters the training instructions based on their gradient directions, representing different areas of expertise and thereby reducing conflicts during optimization. Expert adapters are then trained on these clusters, utilizing the low-rank adaptation (LoRA) technique to ensure training efficiency and model scalability. During inference, ELREA combines predictions from the most relevant expert adapters based on the input data's gradient similarity to the training clusters, ensuring optimal adapter selection for each task. Experiments show that our method outperforms baseline LoRA adapters trained on the full dataset and other ensemble approaches with similar training and inference complexity across a range of domain-specific tasks.