Cross-Entropy Guided Routing in Mixture-of-Experts Large Language Models
作者: Yury Nahshan, Nati Daniel, Jacob Goldberger, Yoli Shavit
分类: cs.AI
发布日期: 2026-09-29
备注: 25 pages, 6 figures, 12 tables
💡 一句话要点
提出基于交叉熵引导的稀疏专家路由以提升语言模型性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 稀疏混合专家 语言模型 路由机制 交叉熵损失 令牌错误监督 自然语言处理 模型优化
📋 核心要点
- 现有的稀疏混合专家模型在路由亲和度与令牌级错误之间缺乏直接对齐，影响了模型性能。
- 本文提出了基于令牌错误监督的两种新机制，旨在优化稀疏路由的准确性和效率。
- 实验结果显示，提出的方法在多个基准测试中显著提高了模型的准确率，验证了其有效性。
📝 摘要（中文）
稀疏混合专家（MoE）大语言模型通过将每个令牌路由到小部分专家来扩展模型容量。然而，现有的路由器在学习亲和度时未能直接与令牌级错误对齐。本文提出了两种形式的令牌错误监督机制，第一种形式为每个专家预测错误分数，并通过亲和度加权聚合这些分数，与下一个令牌的交叉熵损失对齐；第二种形式则直接将路由器的亲和度与模型目标对齐，无需额外的头或推理时修改。通过在两个稀疏MoE基础模型和四个多项选择问答基准上的评估，提出的方法在Granite上平均提高了约2.3个百分点的准确率，在ARC-Challenge上则达到了2.94点的提升，同时保持了原有的稀疏执行预算和聚合策略。
🔬 方法详解
问题定义：本文旨在解决稀疏混合专家模型中路由亲和度与令牌级错误之间缺乏直接对齐的问题。现有方法的痛点在于，路由器的学习目标未能有效反映每个令牌的错误，导致模型性能受限。
核心思路：论文提出了两种形式的令牌错误监督机制，第一种通过预测每个专家的错误分数，并将其与下一个令牌的交叉熵损失对齐；第二种则直接将路由器的亲和度与模型目标对齐，避免了额外的计算开销。
技术框架：整体架构包括两个主要模块：错误分数预测模块和亲和度对齐模块。错误分数预测模块为每个专家生成错误分数，而亲和度对齐模块则确保这些分数与模型的目标一致。
关键创新：最重要的技术创新在于引入了令牌错误监督机制，使得路由器的亲和度能够直接反映模型的目标，从而提升了模型的准确性。这一方法与传统的基于负载均衡的路由器设计形成了鲜明对比。
关键设计：在设计中，采用了Itakura-Saito散度或指数负对数似然作为损失函数，以实现亲和度与令牌错误的对齐。此外，模型在保持稀疏执行预算和聚合策略的同时，优化了参数设置，确保了高效的计算性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在Granite基准上平均提高了约2.3个百分点的准确率，而在ARC-Challenge上则达到了2.94点的显著提升。这些结果展示了新监督机制在优化稀疏路由方面的有效性，且保持了原有的执行预算。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的问答系统、对话系统以及文本生成等任务。通过提升稀疏混合专家模型的性能，能够在更大规模的数据集上实现更高的准确性和效率，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Sparse mixture-of-experts (MoE) large language models scale model capacity by routing each token to a small subset of experts. Their routers are regularized with load balancing terms and learn affinity scores through the language-model objective. However, these objectives do not provide direct alignment between routing affinities and token-level error. We introduce token-error supervision for sparse routing in two forms. The first form predicts an error score per expert. The affinity-weighted aggregate of these scores is aligned to the next-token cross-entropy loss, while the individual scores attenuate affinity before top-$K$ selection. The second directly aligns the router's affinities to the model's objective without requiring an additional head or inference-time modification. Both formulations use the Itakura--Saito divergence or an exponential negative log-likelihood for aligning affinities and token errors. Across two sparse MoE backbones and four multiple-choice question-answering benchmarks, we evaluate both supervision mechanisms. On Granite, our method improves accuracy by approximately 2.3 percentage points on average over a parameter-matched routing baseline. With stronger supervision, the gain on ARC-Challenge reaches 2.94 points. Both mechanisms preserve the native sparse execution budget and aggregation policy. Our code is available in the supplementary materials.