Do Domain-specific Experts exist in MoE-based LLMs?

📄 arXiv: 2604.05267v1 📥 PDF

作者: Giang Do, Hung Le, Truyen Tran

分类: cs.CL

发布日期: 2026-04-07

备注: 15 pages

🔗 代码/项目: GITHUB

💡 一句话要点

探索MoE-LLM领域专家存在性，提出无训练代价的DSMoE框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 领域特定专家 大语言模型 无训练代价 领域引导 推理优化 模型泛化

📋 核心要点

  1. MoE-LLM的专家专业化程度和可解释性仍是挑战，现有方法难以有效利用领域知识。
  2. 提出DSMoE框架，通过领域引导，在推理阶段动态选择专家，无需额外训练。
  3. 实验表明，DSMoE在多个MoE-LLM上优于SFT等基线，且不增加推理成本。

📝 摘要（中文）

在大语言模型（LLMs）时代，混合专家（MoE）架构已成为一种有效的方法，用于训练具有更高计算效率的超大型模型。这一成功建立在旨在增强MoE-LLM中专家专业化的广泛研究之上。然而，这种专业化的本质以及如何系统地解释它们仍然是开放的研究挑战。本文通过提出一个基本问题来研究这一差距：MoE-LLM中是否存在领域特定的专家？为了回答这个问题，我们评估了十个先进的MoE-LLM，参数范围从3.8B到120B，并为领域特定专家的存在提供了经验证据。在此基础上，我们提出了领域引导混合专家（DSMoE），这是一个无需训练的框架，引入了零额外的推理成本，并且优于训练良好的MoE-LLM和强大的基线，包括监督微调（SFT）。在四个先进的开源MoE-LLM上进行的跨目标和非目标领域的实验表明，我们的方法实现了强大的性能和鲁棒的泛化，而无需增加推理成本或额外的再训练。我们的实现可在https://github.com/giangdip2410/Domain-specific-Experts公开获取。

🔬 方法详解

问题定义：论文旨在解决MoE-LLM中领域特定专家是否存在的问题，并探索如何有效利用这些潜在的专家知识。现有方法要么依赖于昂贵的微调，要么无法充分挖掘模型内部的领域专业性，导致模型在特定领域的表现受限。

核心思路：论文的核心思路是，即使没有明确的领域监督，MoE-LLM内部也可能存在隐式的领域专家。通过在推理时，根据输入样本的领域特征，动态地选择激活相应的专家，可以提升模型在特定领域的性能。这种方法避免了额外的训练成本，并且能够更好地利用模型已有的知识。

技术框架：DSMoE框架主要包含两个阶段：领域识别和专家选择。首先，使用一个轻量级的领域分类器（例如，基于TF-IDF或预训练语言模型的分类器）来识别输入样本所属的领域。然后，根据领域分类器的输出，使用一个预定义的映射关系，选择激活相应的专家组合。在推理时，只有被选中的专家参与计算，从而实现领域引导的专家选择。

关键创新：DSMoE的关键创新在于其无需训练的领域引导专家选择机制。与传统的微调方法相比，DSMoE避免了昂贵的训练成本，并且能够更好地保持模型在其他领域的泛化能力。此外，DSMoE通过动态选择专家，能够更好地适应不同领域的输入，从而提升模型在特定领域的性能。

关键设计：DSMoE的关键设计包括领域分类器的选择、领域到专家的映射关系以及专家组合的策略。领域分类器可以使用各种现成的文本分类模型，例如TF-IDF、SVM或预训练语言模型。领域到专家的映射关系可以手动定义，也可以通过数据驱动的方法学习得到。专家组合的策略可以采用简单的加权平均，也可以使用更复杂的门控机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DSMoE在四个先进的开源MoE-LLM上取得了显著的性能提升。例如，在目标领域，DSMoE优于SFT基线，并且在非目标领域保持了良好的泛化能力。更重要的是，DSMoE实现了零额外的推理成本，使其成为一种极具吸引力的领域知识增强方法。

🎯 应用场景

该研究成果可应用于各种需要领域知识增强的大语言模型应用场景，例如：特定领域的问答系统、专业文档生成、行业报告撰写等。通过DSMoE框架，可以提升模型在特定领域的性能，而无需进行昂贵的微调，从而降低了模型部署和维护的成本。未来，该方法可以进一步扩展到多模态领域，例如，结合图像、音频等信息，实现更精细的领域引导。

📄 摘要（原文）

In the era of Large Language Models (LLMs), the Mixture of Experts (MoE) architecture has emerged as an effective approach for training extremely large models with improved computational efficiency. This success builds upon extensive prior research aimed at enhancing expert specialization in MoE-based LLMs. However, the nature of such specializations and how they can be systematically interpreted remain open research challenges. In this work, we investigate this gap by posing a fundamental question: \textit{Do domain-specific experts exist in MoE-based LLMs?} To answer the question, we evaluate ten advanced MoE-based LLMs ranging from 3.8B to 120B parameters and provide empirical evidence for the existence of domain-specific experts. Building on this finding, we propose \textbf{Domain Steering Mixture of Experts (DSMoE)}, a training-free framework that introduces zero additional inference cost and outperforms both well-trained MoE-based LLMs and strong baselines, including Supervised Fine-Tuning (SFT). Experiments on four advanced open-source MoE-based LLMs across both target and non-target domains demonstrate that our method achieves strong performance and robust generalization without increasing inference cost or requiring additional retraining. Our implementation is publicly available at https://github.com/giangdip2410/Domain-specific-Experts.