Expert Pyramid Tuning: Efficient Parameter Fine-Tuning for Expertise-Driven Task Allocation

📄 arXiv: 2603.12577v1 📥 PDF

作者: Jia-Chen Zhang, Zhen-Wei Yan, Yu-Jie Xiong, Chun-Ming Xia

分类: cs.CL, cs.CV

发布日期: 2026-03-13

💡 一句话要点

提出专家金字塔调优(EPT)，通过多尺度特征金字塔提升参数高效微调性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 参数高效微调 多任务学习 混合专家模型 特征金字塔 语言模型

📋 核心要点

  1. 现有MoE-LoRA方法忽略了任务复杂性的分层特性，专家架构单一，无法适应不同粒度的特征需求。
  2. EPT将多尺度特征金字塔引入PEFT，通过共享元知识子空间和金字塔投影机制，实现多尺度特征的动态选择。
  3. 实验表明，EPT在多个多任务基准上显著优于SOTA MoE-LoRA变体，同时减少了训练参数。

📝 摘要（中文）

参数高效微调(PEFT)已成为多任务场景下部署大型语言模型的主流范式，因为它具有极高的参数效率。虽然基于混合专家(MoE)的LoRA变体通过动态地将tokens路由到不同的低秩专家取得了有希望的结果，但它们在很大程度上忽略了任务复杂性的分层性质。现有方法通常采用具有统一架构的专家，限制了它们捕获不同任务所需的多样化特征粒度的能力——其中一些任务需要高层次的语义抽象，而另一些任务需要细粒度的句法操作。为了弥合这一差距，我们提出了一种新的架构专家金字塔调优(EPT)，它将计算机视觉中的多尺度特征金字塔概念集成到PEFT领域。与标准LoRA不同，EPT将任务适应分解为两个阶段：(1)一个共享的元知识子空间，以低维度编码通用的语言模式；(2)一个金字塔投影机制，它利用可学习的上投影算子以不同的尺度重建高维特征。然后，一个任务感知的路由器动态地选择这些多尺度特征的最佳组合。在多个多任务基准上的大量实验表明，EPT显著优于SOTA MoE-LoRA变体。至关重要的是，由于我们设计的重参数化能力，EPT在提高性能的同时，还减少了训练参数的数量。

🔬 方法详解

问题定义：现有基于MoE的LoRA方法在处理多任务学习时，忽略了任务复杂度的层级结构。不同任务对特征粒度的需求不同，例如有些任务需要高层语义抽象，而另一些任务需要细粒度的句法操作。现有方法采用统一架构的专家，无法有效捕捉这些差异，导致性能瓶颈。

核心思路：EPT的核心思想是将计算机视觉中的多尺度特征金字塔概念引入到参数高效微调(PEFT)中。通过构建一个特征金字塔，模型可以学习到不同尺度的特征表示，从而更好地适应不同复杂度的任务。这种设计允许模型根据任务的需要，动态地选择合适的特征尺度，提高模型的泛化能力和效率。

技术框架：EPT的整体架构包含两个主要阶段：1) 共享元知识子空间：该子空间负责编码通用的语言模式，并以低维度表示。2) 金字塔投影机制：该机制利用可学习的上投影算子，将低维表示重建为不同尺度的高维特征。一个任务感知的路由器负责动态地选择这些多尺度特征的最佳组合。整个框架通过重参数化技术，实现了参数高效的微调。

关键创新：EPT的关键创新在于将多尺度特征金字塔的概念引入到参数高效微调中。与传统的LoRA方法不同，EPT能够学习到不同尺度的特征表示，从而更好地适应不同复杂度的任务。此外，EPT的任务感知路由器能够动态地选择合适的特征尺度，进一步提高了模型的性能。

关键设计：EPT的关键设计包括：1) 共享元知识子空间的设计，用于提取通用的语言模式。2) 金字塔投影机制的设计，用于生成不同尺度的特征表示。3) 任务感知路由器的设计，用于动态选择合适的特征尺度。具体实现细节包括上投影算子的选择、损失函数的设计以及网络结构的优化等。这些设计共同保证了EPT的性能和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EPT在多个多任务基准上显著优于SOTA MoE-LoRA变体。例如，在XXX数据集上，EPT的性能提升了X%。更重要的是，EPT在提高性能的同时，还减少了训练参数的数量，实现了参数效率和性能的双重提升。这些结果充分证明了EPT的有效性和优越性。

🎯 应用场景

EPT可应用于各种多任务学习场景，例如自然语言处理中的文本分类、机器翻译、问答系统等。通过利用不同尺度的特征表示，EPT能够更好地适应不同任务的需求，提高模型的泛化能力和效率。该研究对于推动参数高效微调技术的发展具有重要意义，并有望在实际应用中取得显著效果。

📄 摘要（原文）

Parameter-Efficient Fine-Tuning (PEFT) has become a dominant paradigm for deploying LLMs in multi-task scenarios due to its extreme parameter efficiency. While Mixture-of-Experts (MoE) based LoRA variants have achieved promising results by dynamically routing tokens to different low-rank experts, they largely overlook the hierarchical nature of task complexity. Existing methods typically employ experts with uniform architectures, limiting their ability to capture diverse feature granularities required by distinct tasks--where some tasks demand high-level semantic abstraction while others require fine-grained syntactic manipulation. To bridge this gap, we propose Expert Pyramid Tuning (EPT), a novel architecture that integrates the multi-scale feature pyramid concept from computer vision into the realm of PEFT. Unlike standard LoRA, EPT decomposes task adaptation into two stages: (1) A shared meta-knowledge Subspace that encodes universal linguistic patterns in low dimensions; (2) A Pyramid Projection Mechanism that utilizes learnable up-projection operators to reconstruct high-dimensional features at varying scales. A task-aware router then dynamically selects the optimal combination of these multi-scale features. Extensive experiments across multiple multi-task benchmarks demonstrate that EPT significantly outperforms SOTA MoE-LoRA variants. Crucially, thanks to the re-parameterization capability of our design, EPT achieves this performance improvement while simultaneously reducing the number of training parameters.