Rank Also Matters: Hierarchical Configuration for Mixture of Adapter Experts in LLM Fine-Tuning

📄 arXiv: 2502.03884v1 📥 PDF

作者: Peizhuang Cong, Wenpu Liu, Wenhan Yu, Haochen Zhao, Tong Yang

分类: cs.LG, cs.AI

发布日期: 2025-02-06

💡 一句话要点

提出HILO：一种层级配置的Adapter专家混合模型微调方法，提升LLM微调效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 低秩适应 专家混合模型 层级配置 大型语言模型

📋 核心要点

  1. 现有LoRA与MoE结合的方法忽略了adapter秩的重要性，限制了微调性能的进一步提升。
  2. HILO通过层级配置动态调整adapter专家的数量和秩，以适应不同层级的表征复杂度。
  3. 实验表明，HILO在减少可训练参数的同时，显著提升了LLM在多个基准任务上的微调精度。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出卓越的性能，但其参数规模也在不断增长。参数高效微调（PEFT）方法，如低秩适应（LoRA），通过显著减少可训练参数的数量来解决微调LLMs的挑战。最近的研究将LoRA与专家混合（MoE）架构相结合，利用多个adapter专家和门控机制来进一步提高微调性能。然而，现有方法主要侧重于调整每层adapter专家的分配，以优化引入的可训练参数大小，而忽略了adapter秩的关键因素。为此，我们提出了一种用于专家分配和秩配置的层级方案HILO，它动态地调整跨层的adapter专家的数量和秩，以匹配模型层在adapter粒度上的不同表征复杂度。在多个基准任务上的大量实验表明，HILO在引入更少的可训练参数的同时，优于现有方法的准确性，为微调LLMs提供了一种高效且实用的解决方案。

🔬 方法详解

问题定义：现有基于LoRA的MoE微调方法主要关注于如何分配不同层的adapter专家数量，以优化可训练参数量。然而，这些方法忽略了adapter本身的秩（rank）这一重要因素。不同层级的网络可能需要不同复杂度的adapter来学习，固定秩的adapter无法充分适应这种差异，导致微调性能受限。

核心思路：HILO的核心思想是根据不同层级的表征复杂度，动态调整adapter专家的数量和秩。通过层级配置，使得模型能够更灵活地分配计算资源，从而在保证性能的同时，减少可训练参数量。这种层级配置允许模型在需要更高表达能力的层级使用更高秩的adapter，而在表达能力需求较低的层级使用较低秩的adapter。

技术框架：HILO的整体框架包含两个主要部分：专家分配和秩配置。首先，根据模型的层级结构，确定每一层需要分配的adapter专家数量。然后，为每个adapter专家配置合适的秩。这两个过程都是动态的，可以根据模型的训练情况进行调整。具体来说，可以使用一些启发式规则或者学习算法来确定最佳的专家数量和秩的组合。

关键创新：HILO最重要的创新在于其层级配置的思想，它打破了传统方法中adapter秩固定的限制，使得模型能够更灵活地适应不同层级的表征复杂度。这种层级配置不仅提高了微调性能，还减少了可训练参数量，从而提高了微调效率。

关键设计：HILO的关键设计包括：1) 如何确定每一层adapter专家的数量。可以根据层的深度、参数量等因素进行启发式分配，也可以使用强化学习等方法进行学习。2) 如何确定每个adapter专家的秩。可以根据层的梯度信息、激活值等因素进行动态调整。3) 如何将不同秩的adapter专家进行融合。可以使用加权平均、门控机制等方法。此外，损失函数的设计也至关重要，需要平衡微调性能和可训练参数量之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HILO在多个基准任务上优于现有的PEFT方法，包括LoRA和MoE-based方法。例如，在GLUE基准测试中，HILO在保持相似的可训练参数量的情况下，平均提升了1-2个百分点。更重要的是，HILO在某些任务上甚至可以达到与全参数微调相当的性能，但可训练参数量却大大减少。

🎯 应用场景

HILO适用于各种需要对大型语言模型进行高效微调的场景，例如自然语言处理、机器翻译、文本生成等。它可以帮助研究人员和工程师在有限的计算资源下，快速地将LLM适应到特定的任务中，从而提高模型的性能和效率。此外，HILO还可以应用于模型压缩和知识蒸馏等领域。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable success across various tasks, accompanied by a continuous increase in their parameter size. Parameter-efficient fine-tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), address the challenges of fine-tuning LLMs by significantly reducing the number of trainable parameters. Recent studies have integrated LoRA with Mixture of Experts (MoE) architectures, leveraging multiple adapter experts and gating mechanisms to further improve fine-tuning performance. However, existing approaches primarily focus on adjusting the allocations of adapter experts per layer to optimize the introduced trainable parameter size, while neglecting a critical factor of adapters' rank. To this end, we propose a hierarchical scheme for expert allocation and rank configuration, HILO, which dynamically adjusts the number and rank of adapter experts across layers, matching the varying representational complexity of model layers in adapter-granularity. Extensive experiments on multiple benchmark tasks demonstrate that HILO outperforms existing methods in accuracy while introducing fewer trainable parameters, providing an efficient and practical solution for fine-tuning LLMs.