Large Language Models with At Most One Spike per Neuron

📄 arXiv: 2609.05151v1 📥 PDF

作者: Zhuoya Zhao, Parsa Omidi, Aref Jafari, Richard Naud

分类: cs.NE, cs.CL

发布日期: 2026-09-04

💡 一句话要点

提出基于TTFS编码的脉冲神经网络以解决LLM能效问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脉冲神经网络 大型语言模型 时间到首次脉冲 能效计算 自然语言处理 深度学习 模型压缩

📋 核心要点

  1. 传统的TTFS脉冲神经网络在结构上受到限制，难以有效编码大型语言模型中的关键组件。
  2. 本文提出了一种基于参考的编码策略，能够在TTFS框架下有效处理LLM的嵌入层、层归一化等模块。
  3. 实验结果显示，所提方法在自然语言理解任务上与ANN相当，但在语言建模困惑度上仍有提升空间。

📝 摘要（中文）

脉冲神经网络（SNN）利用其固有的稀疏事件驱动计算，为能效高的大型语言模型（LLM）提供了有前景的路径。时间到首次脉冲（TTFS）编码在时间窗口内生成每个神经元最多一个脉冲，导致极低的发火率。然而，传统的TTFS SNN受限于特定结构，难以编码LLM中的某些模块，如层归一化和矩阵乘法。为克服这一限制，本文提出了一种基于参考的策略，专门用于编码四个核心LLM组件：嵌入层、层归一化、注意力相关操作和丢弃层。我们构建了一个完全基于TTFS的SNN架构并进行端到端训练。实验表明，该方法在自然语言理解和常识推理方面的性能与人工神经网络（ANN）相当，但在语言建模困惑度上仍存在明显差距。我们首次将脉冲LLM扩展到15亿参数，并报告了脉冲相关能量的估计。

🔬 方法详解

问题定义：本文旨在解决传统TTFS脉冲神经网络在编码大型语言模型（LLM）关键组件时的局限性，尤其是在层归一化和矩阵乘法等操作中存在的挑战。

核心思路：通过引入一种基于参考的编码策略，本文能够在TTFS框架下有效地处理LLM的四个核心组件，从而提升脉冲神经网络的表达能力和计算效率。

技术框架：整体架构包括四个主要模块：嵌入层、层归一化、注意力机制和丢弃层。每个模块都经过精心设计，以确保在TTFS编码下的有效性和高效性。

关键创新：本文的主要创新在于首次将TTFS编码应用于15亿参数的脉冲LLM，突破了传统脉冲神经网络在规模和功能上的限制。

关键设计：在网络结构上，采用了特定的损失函数和参数设置，以优化脉冲发放的效率，并确保模型在自然语言理解任务中的性能与传统ANN相当。实验中还估计了脉冲相关的能量消耗，提供了对能效的深入分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提TTFS脉冲神经网络在自然语言理解和常识推理任务上与BERT和GPT-2等现代LLM的性能相当，尽管在语言建模困惑度上仍存在差距。这一成果展示了脉冲神经网络在大型语言模型中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和低功耗计算设备。通过提高脉冲神经网络的能效和性能，未来可在移动设备和边缘计算中实现更高效的语言模型应用，推动智能系统的普及与发展。

📄 摘要（原文）

Leveraging their inherent sparse event-driven computation, spiking neural networks (SNNs) offer a promising path toward energy-efficient large language models (LLMs). Time-to-first-spike (TTFS) coding generates at most one spike per neuron within a time window, yielding extremely low firing rates. However, conventional TTFS SNNs are restricted to specific structures, making it challenging to encode certain blocks in LLM -- such as layer normalization and matrix multiplication --using TTFS. To overcome this limitation, we introduce a reference-based strategy specifically to encode the four core LLM components: embedding layers, layer normalization, attention-related operations and dropout. We construct a fully TTFS-based SNN architecture and train it end-to-end. Experiments on modern LLMs like BERT and GPT-2 demonstrate that our approach achieves performance comparable to ANN counterparts on natural language understanding and common-sense reasoning, while a clear gap remains on language modeling perplexity. To the best of our knowledge, this is the first work to scale a spiking LLM to 1.5 billion parameters using TTFS coding. We also report an estimate of spike-related energy; this is a spike-count proxy under an established cost model rather than a measurement on neuromorphic hardware.