Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization
作者: Sekh Mainul Islam, Pepa Atanasova, Isabelle Augenstein
分类: cs.CL, cs.AI
发布日期: 2026-10-15
备注: Under review
💡 一句话要点
提出混合专家模型以解决大语言模型个性化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化 混合专家模型 大语言模型 稀疏路由 可解释性 机器学习 自然语言处理
📋 核心要点
- 现有的个性化方法主要针对密集型LLMs，导致多义神经元的存在使得个性化组件难以定位和理解。
- 本文提出通过混合专家模型（MoE）进行个性化，利用稀疏路由机制减少多义性，从而实现对个性化特征的清晰定位。
- 实验结果表明，个性化的MoE LLMs在参数激活方面仅使用了密集型LLMs的一部分，同时在性能上与其竞争，并且个性化潜变量的共享程度较低。
📝 摘要（中文）
大语言模型（LLMs）的个性化在用户中心应用中愈发重要，但现有方法主要适应于密集型LLMs，其多义神经元编码多个无关概念，妨碍了对个性化背后组件的定位和理解。本文提出个性化混合专家（MoE）LLMs，通过稀疏路由每个标记到少数专业专家，降低多义性并实现这种定位。我们在大规模个性化数据集上适应了三种开放权重的MoE LLMs，并在个性化和非个性化模型的配对激活上训练交叉编码器，以学习可解释的个性化潜变量，从中识别出编码不同个性化特征的专家。个性化的MoE LLMs在激活参数仅为密集型LLMs的一部分的情况下，表现出与密集型LLMs的竞争力，并且在相同模型家族中，个性化潜变量与非个性化模型的共享程度较低。因果干预表明，这些潜变量足以恢复个性化模型的行为，并且增强其相关专家会使非个性化模型向其靠近，揭示了不同个性化特征的独特路由路径。
🔬 方法详解
问题定义：本文旨在解决现有个性化方法在密集型LLMs中存在的多义性问题，导致个性化特征难以理解和控制。
核心思路：通过引入混合专家（MoE）模型，稀疏路由每个输入标记到少数专家，从而降低多义性并实现个性化特征的清晰定位。
技术框架：整体架构包括三个主要模块：1) MoE LLMs的适应性训练；2) 在个性化和非个性化模型的配对激活上训练交叉编码器；3) 识别编码不同个性化特征的专家。
关键创新：最重要的创新在于利用MoE模型的稀疏性来减少多义性，并通过交叉编码器学习可解释的个性化潜变量，从而实现对个性化特征的有效识别。
关键设计：在模型训练中，采用开放权重的MoE LLMs，并设计了特定的损失函数以优化个性化潜变量的学习，同时确保激活的参数数量显著低于密集型模型。
🖼️ 关键图片
📊 实验亮点
实验结果显示，个性化的MoE LLMs在激活参数仅为密集型LLMs的一部分的情况下，依然能够与其竞争，且个性化潜变量的共享程度显著低于非个性化模型，表明其在个性化特征的有效性和独特性方面具有明显优势。
🎯 应用场景
该研究的潜在应用领域包括个性化聊天机器人、推荐系统和智能助手等用户中心的应用场景。通过实现更有效的个性化，能够提升用户体验和满意度，未来可能对人机交互的方式产生深远影响。
📄 摘要（原文）
Personalization of Large Language Models (LLMs) is increasingly important for user-centric applications, yet prior methods mainly adapt dense LLMs, whose polysemantic neurons, each encoding multiple unrelated concepts, hinder localizing the components behind personalization, and thus understanding and controlling it. We propose to personalize Mixture-of-Experts (MoE) LLMs, which sparsely route each token to a few specialized experts, reducing polysemanticity and enabling such localization. We adapt three open-weight MoE LLMs on a large-scale personalization dataset and train crosscoders on paired activations of the personalized and non-personalized models to learn interpretable personalized latents, from which we identify the experts encoding distinct personalization features. The personalized MoE LLMs perform competitively with dense LLMs while activating only a fraction of their parameters, exhibit lower polysemanticity than dense LLMs with similar active parameters, and, within the same model family, yield personalized latents that are less shared with the non-personalized model. Causal interventions show that these latents suffice to recover the personalized model's behavior and that boosting their associated experts moves the non-personalized model toward it, revealing distinct routing paths for different personalization features.