UMoE:Unlocking Every Expert in Domain-Specific Training

📄 arXiv: 2607.11444v1 📥 PDF

作者: Xuefeng Li, Pengfei Liu

分类: cs.CL

发布日期: 2026-07-13

💡 一句话要点

提出UMoE以优化领域特定训练中的专家池配置

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 领域特定训练 模型优化 监督微调 计算资源管理

📋 核心要点

  1. 现有的混合专家模型在领域特定训练中，部分专家对目标领域贡献有限，导致资源浪费。
  2. 论文提出的UMoE方法通过修剪和扩展专家池，优化了专家的领域适应性，提升了模型性能。
  3. 实验结果表明，UMoE在多个领域和基准测试中均优于直接微调，尤其在数学领域提升了3.4个百分点。

📝 摘要（中文）

混合专家（MoE）模型在不成比例增加计算成本的情况下扩展了容量，成为前沿大型语言模型（LLMs）的关键架构。然而，领域特定的后训练继承了由混合领域预训练形成的专家池，导致部分专家在目标领域贡献有限。本文提出了一种简单的预算节省管道，在微调前重新调整专家池。具体步骤包括：1）修剪领域对齐显著性最低的专家；2）通过基于扰动的专家扩展重新增长专家池至原始规模；3）应用标准监督微调（SFT）。该模型在保持原始专家数量、参数数量和推理成本的同时，显著提升了多个领域的性能。

🔬 方法详解

问题定义：本文旨在解决混合专家模型在领域特定训练中，部分专家对目标领域贡献不足的问题。现有方法在微调过程中未能有效调整专家池，导致计算资源浪费。

核心思路：UMoE通过在微调前重新调整专家池，确保每个专家都能为目标领域提供有效贡献。具体而言，先修剪低显著性的专家，再通过扰动扩展专家池，最后进行标准微调。

技术框架：UMoE的整体流程包括三个主要阶段：1）修剪阶段，去除领域对齐显著性最低的专家；2）扩展阶段，通过扰动技术重新增加专家数量；3）微调阶段，应用标准监督微调以优化模型性能。

关键创新：UMoE的创新在于其预算节省的设计，能够在不增加计算成本的情况下，优化专家池的组成，提升模型在特定领域的表现。与传统方法相比，UMoE有效利用了原有的计算资源。

关键设计：在参数设置上，UMoE保持了原始模型的专家数量和参数数量，采用标准的损失函数和网络结构，确保了在不同领域的适应性和性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，UMoE在多个领域和基准测试中均显著优于直接微调，尤其在数学领域的平均准确率提升了3.4个百分点，SWE-bench Verified上提升了6.0个百分点。在强大的内部数学语料库上，UMoE进一步将平均准确率提升至84.17，显示出其在强微调环境下的鲁棒性。

🎯 应用场景

UMoE的研究成果在多个领域具有广泛的应用潜力，尤其是在需要领域特定知识的任务中，如科学计算、代码生成和工具使用等。通过优化专家池的配置，UMoE能够提高模型在特定任务上的表现，推动智能助手和自动化系统的发展。

📄 摘要（原文）

Mixture-of-Experts (MoE) models scale capacity without proportional compute cost and have become a key architecture for frontier large language models (LLMs). Yet domain-specific post-training inherits an expert pool shaped by mixed-domain pre-training: a substantial subset of experts contributes little on the target domain, and standard supervised fine-tuning (SFT) leaves the composition of this pool unchanged. We propose a simple, budget-preserving pipeline that realigns the expert pool to the target domain before fine-tuning. Given a target domain, we (1) prune the experts with lowest domain-aligned saliency, (2) regrow the expert pool to its original size through perturbation-based expert expansion, and (3) apply standard SFT. The resulting model preserves the original expert count, parameter count, and inference cost. With a single frozen recipe and no per-domain hyperparameter tuning, UMoE consistently improves over direct sft across two MoE architectures (Qwen3-30B-A3B and Qwen3.5-35B-A3B), five domains (math, code, science, tool-use, and agentic coding), and 12 benchmarks. Representative improvements are 3.4 points in math average accuracy, 6.0 points on SWE-bench Verified. On a strong in-house math corpus, direct sft already surpasses Qwen3-30B-A3B-Thinking (82.81 vs.\ 81.06), yet UMoE further raises the average to 84.17, an additional 1.36 points, demonstrating robustness to a substantially stronger SFT regime. Data-scaling experiments further show that the gain persists as training data grows. Analysis reveals that the direct-SFT model allocates substantial routed-expert compute to a low-saliency subset that can be removed post hoc with little average degradation; UMoE turns this redundant capacity into useful domain capacity and achieves lower training loss, with gains spanning all difficulty levels in downstream evaluation.