SpikeMoE: Brain-Inspired Competitive Routing for Flexible Spiking Mixture-of-Experts

📄 arXiv: 2610.01418v1 📥 PDF

作者: Xiaoli Liu, Yujie Liang, Jialin Li, Malu Zhang

分类: cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出SpikeMoE以解决灵活的脉冲混合专家选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脉冲神经网络 混合专家 多模态学习 能量效率 生物启发计算

📋 核心要点

  1. 现有方法在脉冲神经网络中缺乏有效的专家选择机制，难以充分利用生物启发的动态特性。
  2. 本文提出了一种基于脉冲活动的k-WTA路由器，结合竞争抑制机制，实现灵活的专家选择。
  3. SpikeMoE在多模态任务中表现优异，超越了SNN基线，并在多种缺失模态条件下保持鲁棒性。

📝 摘要（中文）

脉冲神经网络（SNN）通过生物启发的神经元动态实现事件驱动计算，而混合专家（MoE）则通过专家选择实现条件计算。本文提出了一种基于脉冲活动的专家选择机制，结合了海马CA1区域的竞争抑制特性，设计了脉冲式k-WTA路由器。基于此，我们构建了SpikeMoE框架，整合了神经元级脉冲动态与模型级专家选择。此外，为应对多模态任务中的不完整多感官输入，SpikeMoE还配备了两阶段缺失模态建模模块。实验结果表明，SpikeMoE在视觉、语言和多模态基准测试中表现出色，超越了SNN基线，匹配或超过了ANN对比，且在多种缺失模态条件下保持鲁棒性，验证了其在能效与性能之间的良好平衡。

🔬 方法详解

问题定义：本文旨在解决脉冲神经网络中专家选择机制不足的问题，现有方法未能有效利用脉冲活动进行灵活的计算选择。

核心思路：论文提出了一种基于脉冲活动的k-WTA路由器，灵感来源于海马CA1区域的竞争抑制特性，通过引入侧向抑制和不应期机制来选择Top-K专家。

技术框架：SpikeMoE框架整合了神经元级的脉冲动态与模型级的专家选择，包含脉冲路由器和两阶段缺失模态建模模块，后者结合经验原型和可学习嵌入构建缺失模态表示。

关键创新：最重要的创新在于引入了脉冲式k-WTA路由器，利用生物启发的动态特性实现高效的专家选择，与传统的MoE方法相比，能够更好地处理多模态输入的缺失情况。

关键设计：在设计中，采用了侧向抑制机制和不应期参数来优化专家选择过程，损失函数和网络结构经过精心调整，以确保在多模态任务中的有效性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SpikeMoE在视觉、语言和多模态基准测试中表现优异，超越了SNN基线，且在多种缺失模态条件下保持鲁棒性，验证了其在性能与能效之间的良好平衡，展示了其作为能效计算的前景。

🎯 应用场景

SpikeMoE的研究成果在多模态学习、智能机器人和生物计算等领域具有广泛的应用潜力。其高效的专家选择机制和能量效率使其在需要实时处理和决策的场景中尤为重要，未来可能推动更智能的计算系统的发展。

📄 摘要（原文）

Spiking Neural Networks (SNNs) enable event-driven computation through biologically inspired dynamics at the neuronal scale, while Mixture-of-Experts (MoE) perform conditional computation through expert selection at the model scale. Integrating their strengths offers potential for flexible neural architectures. A key challenge, however, lies in designing an expert selection mechanism based on spiking activity. To address this, we introduce a spike-based k-WTA Router inspired by competition-inhibition observed in the hippocampal CA1 region. The router incorporates lateral inhibition and refractory period to select Top-K experts according to discrete spike counts. Building on this, we present SpikeMoE, a framework that integrates neuronal-scale spiking dynamics with model-scale expert selection. To address incomplete multisensory inputs in multimodal tasks, we further equip SpikeMoE with a two-stage missing-modality modeling module that combines empirical prototypes from an observed-modality pool with modality-specific learnable embeddings to construct missing-modality representations. Experiments on vision, language, and multimodal benchmarks demonstrate that SpikeMoE achieves state-of-the-art performance among the SNN baselines, matches or exceeds the performance of ANN counterparts, and maintains robustness across diverse missing-modality conditions. These results demonstrate a favorable trade-off between performance and energy efficiency, validating the integration of spiking dynamics with sparse expert computation and highlighting SpikeMoE as a promising approach to energy-efficient brain-inspired computing.