From Experts to Sub-experts: Fine-grained Parameter-Efficient Fine-Tuning for MoE LLMs

📄 arXiv: 2609.25655v1 📥 PDF

作者: Zhentao Tan, Chang Liu, Yao Liu, Yue Wu, Jieping Ye

分类: cs.LG, cs.AI

发布日期: 2026-09-22

💡 一句话要点

提出NSFT以实现MoE LLMs的细粒度参数高效微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 稀疏调优 专家混合模型 参数高效微调 深度学习

📋 核心要点

  1. 现有的PEFT方法在专家级调优上仍然过于粗糙，未能充分利用激活的稀疏性。
  2. NSFT通过将每个专家细分为子专家，结合路由重要性与激活显著性，实现更精细的参数更新。
  3. 在OLMoE和Ling-mini-2.0的实验中，NSFT在性能上显著优于现有基线，且可训练参数显著减少。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速扩展，密集的全参数适应变得越来越昂贵，这促使了稀疏和模块化架构的出现，如专家混合模型（MoE）。在参数高效微调（PEFT）中，如何选择和更新参数的粒度成为关键问题。现有的PEFT方法如LoRA在预定义的权重矩阵上操作，而专家级稀疏调优方法则更新整个选定的专家。我们提出了NSFT（神经子专家微调），该框架将MoE适应从专家细化到子专家，通过结构化通道组分解每个专家，并结合路由重要性与专家内部激活显著性选择任务相关的子专家。实验表明，NSFT在多个领域特定任务和基准测试中，始终优于代表性的PEFT和专家级稀疏调优基线，同时使用的可训练参数显著减少，保持了竞争力的通用能力。

🔬 方法详解

问题定义：论文要解决的问题是如何在MoE LLMs中实现更高效的参数微调。现有方法如LoRA和专家级调优未能充分利用激活的稀疏性，导致更新粒度过粗，影响性能。

核心思路：论文提出的NSFT框架通过将每个专家细分为子专家，结合路由重要性与激活显著性，选择任务相关的子专家进行微调，从而实现更精细的参数更新。

技术框架：NSFT的整体架构包括三个主要模块：首先是专家的结构化通道分解，其次是基于任务的子专家选择，最后是动态学习率和梯度缩放的优化策略，以补偿更新幅度的减少。

关键创新：NSFT的核心创新在于将专家级调优细化到子专家级别，这种方法比现有的专家级调优更为精确和高效，能够更好地适应下游任务的需求。

关键设计：在参数设置上，NSFT引入了动态学习率缩放和梯度缩放，以确保在进行稀疏部分更新时，仍能保持有效的更新幅度。此外，结构化通道组的设计使得每个专家的内部激活能够被更有效地利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OLMoE和Ling-mini-2.0的实验中，NSFT在多个领域特定任务上表现优异，超越了代表性的PEFT和专家级稀疏调优基线，使用的可训练参数减少了显著比例，同时保持了竞争力的通用能力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等任务。通过实现更高效的微调，NSFT能够在资源有限的情况下，提升模型在特定任务上的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

As large language models (LLMs) scale rapidly, dense full-parameter adaptation becomes increasingly expensive, motivating sparse and modular architectures such as Mixture-of-Experts (MoE) models. This shift raises a key question for parameter-efficient fine-tuning (PEFT): at what granularity should parameters be selected and updated? Existing PEFT methods such as LoRA operate on predefined weight matrices, while expert-level sparse tuning methods update entire selected experts. However, we observe that activated experts are internally sparse, with only a small fraction of intermediate channels strongly responding to downstream tasks, indicating that expert-level adaptation is still too coarse. We propose NSFT (Neural Sub-expert Fine-Tuning), a fine-grained PEFT framework that refines MoE adaptation from experts to sub-experts. NSFT decomposes each expert along the intermediate dimension into structured channel groups and selects task-relevant sub-experts by combining routing importance with intra-expert activation saliency. To optimize sparse partial updates, NSFT further introduces learning-rate scaling and dynamic gradient scaling to compensate for the reduced effective update magnitude. Experiments on OLMoE and Ling-mini-2.0 across challenging domain-specific tasks and general benchmarks show that NSFT consistently outperforms representative PEFT and expert-level sparse tuning baselines, while using substantially fewer trainable parameters and preserving competitive general capability. These results suggest that sub-expert-level adaptation is a more precise and efficient PEFT paradigm for MoE LLMs.