RouterInterp: Understanding Superposed Specialisation in Mixture of Experts Routing
作者: Ilya Lasy, Nora Yinuo Cai, Kola Ayonrinde
分类: cs.AI, cs.CL, cs.LG
发布日期: 2026-10-08
备注: 33 pages (12 non-appendix pages), 7 figures, published as a conference paper at ICML 2026
💡 一句话要点
提出RouterInterp以解决Mixture of Experts模型的可解释性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 稀疏专家混合模型 可解释性 超叠加专业化假设 自然语言处理 特征提取 路由决策
📋 核心要点
- 现有的稀疏专家混合模型在可解释性方面存在不足，假设专家专注于单一领域的解释往往失败。
- 本文提出超叠加专业化假设（SSH），认为专家专注于细粒度特征的并集，并基于此设计RouterInterp。
- RouterInterp在gpt-oss-20b上的实验结果显示，其路由解释的检测准确率比传统方法提高了约65%。
📝 摘要（中文）
稀疏专家混合模型（MoE）通过将令牌路由到仅对部分令牌活跃的模块专家网络，从而实现比密集模型更高效的扩展。尽管现有的可解释性努力假设每个专家专注于单一领域，但通常未能成功。本文提出了一种替代解释，即超叠加专业化假设（SSH），认为专家专注于细粒度特征的并集。基于SSH，本文引入RouterInterp，一种解释专家路由的方法，能够识别与路由决策最相关的稀疏自编码器特征，并生成统一的自然语言解释。在gpt-oss-20b上，RouterInterp的专家路由解释准确率比之前的基于令牌统计的方法提高了约65%。
🔬 方法详解
问题定义：本文旨在解决稀疏专家混合模型的可解释性问题。现有方法通常假设专家专注于单一领域，但这一假设未能得到验证，导致解释效果不佳。
核心思路：论文提出超叠加专业化假设（SSH），认为专家实际上专注于细粒度特征的并集。基于这一假设，RouterInterp能够更准确地解释专家的路由决策。
技术框架：RouterInterp的整体架构包括特征提取模块、路由决策分析模块和自然语言生成模块。特征提取模块使用稀疏自编码器来识别与路由决策相关的特征，路由决策分析模块则负责分析这些特征对路由的影响，最后生成自然语言解释。
关键创新：RouterInterp的主要创新在于其基于SSH的解释框架，能够识别细粒度特征并生成自然语言解释，这与传统的基于令牌统计的方法有本质区别。
关键设计：RouterInterp在特征提取过程中使用了稀疏自编码器，并设计了特定的损失函数以优化路由决策的可解释性。此外，网络结构经过精心设计，以确保能够有效捕捉到与路由决策相关的细粒度特征。
🖼️ 关键图片
📊 实验亮点
RouterInterp在gpt-oss-20b上的实验结果显示，其专家路由解释的检测准确率比传统的基于令牌统计的方法提高了约65%。这一显著提升表明RouterInterp在解释稀疏专家混合模型方面的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和其他需要高效模型解释的人工智能任务。通过提高模型的可解释性，RouterInterp可以帮助研究人员和开发者更好地理解和优化模型性能，进而推动相关技术的实际应用和发展。
📄 摘要（原文）
Sparse Mixture of Experts (MoE) models scale more efficiently than dense models by routing tokens to modular expert networks that are only active for processing a fraction of tokens. A leading hypothesis for the performance of MoE models is that each expert specialises in a single, coherent domain. However, interpretability efforts that assume this hypothesis have generally been unsuccessful. We propose and present evidence for an alternative account that we call the Superposed Specialisation Hypothesis (SSH): experts specialise in a disjoint union of fine-grained features rather than one broad domain. Leveraging the SSH, we introduce RouterInterp, a method for interpreting expert routing that identifies Sparse Autoencoder features most predictive of routing decisions and produces unified natural language explanations. On gpt-oss-20b, RouterInterp explains expert routing with ${\sim}65\%$ higher detection accuracy than prior token statistics based methods. This work provides a scalable method for generating more accurate explanations of expert routing and increases our understanding of a previously uninterpretable component of foundation models.