LAS: Loss-less ANN-SNN Conversion for Fully Spike-Driven Large Language Models

📄 arXiv: 2505.09659v1 📥 PDF

作者: Long Chen, Xiaotian Song, Yanan Sun

分类: cs.LG, cs.CL

发布日期: 2025-05-14

🔗 代码/项目: GITHUB

💡 一句话要点

LAS：用于全脉冲驱动大语言模型的无损ANN-SNN转换

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脉冲神经网络 大语言模型 ANN-SNN转换 无损转换 Transformer 能量效率 激活异常值 非线性操作

📋 核心要点

  1. 现有ANN-SNN转换方法难以处理ANN-LLM中的激活异常值和不兼容的非线性操作，导致性能损失。
  2. LAS通过引入新型神经元处理激活异常值和非线性操作，并定制脉冲等效Transformer组件，实现无损转换。
  3. 实验表明，LAS在多个语言和视觉-语言模型上实现了无损转换，并在OPT-66B的WSC任务上提升了2%的准确率。

📝 摘要（中文）

脉冲神经网络（SNN）大语言模型（LLM）通过其事件驱动的计算方式，成为传统LLM的一种节能替代方案。为了有效地获得脉冲LLM，研究人员开发了不同的ANN到SNN的转换方法，利用预训练的ANN参数，同时继承SNN的能量效率。然而，现有的转换方法在基于ANN的LLM中面临着极端的激活异常值和不兼容的非线性操作。为了解决这个问题，我们提出了一种用于全脉冲驱动LLM的无损ANN-SNN转换方法，称为LAS。具体来说，LAS引入了两种新型神经元来转换基于ANN的LLM的激活异常值和非线性操作。此外，LAS为脉冲LLM定制了脉冲等效的Transformer组件，可以确保完全的脉冲转换，而不会损失任何性能。在六个语言模型和两个视觉-语言模型上的实验结果表明，LAS实现了无损转换。值得注意的是，在OPT-66B上，LAS甚至在WSC任务上提高了2%的准确率。此外，参数和消融研究进一步验证了LAS的有效性。

🔬 方法详解

问题定义：现有ANN-SNN转换方法在应用于大型语言模型时，面临两个主要问题：一是ANN模型中存在极端的激活异常值，这些异常值在转换为SNN时会导致信息丢失；二是ANN模型中使用的非线性激活函数（如ReLU）与SNN的脉冲机制不兼容，直接转换会导致性能下降。因此，需要一种能够有效处理这些问题的无损转换方法。

核心思路：LAS的核心思路是通过引入新型神经元来解决激活异常值和非线性操作的转换问题，并为脉冲LLM定制脉冲等效的Transformer组件，从而实现ANN到SNN的无损转换。这种方法旨在保留ANN模型的性能，同时利用SNN的能量效率。

技术框架：LAS的整体框架包括以下几个主要步骤：首先，分析ANN模型的激活分布，识别并处理激活异常值。其次，设计新型神经元，用于处理ANN中的非线性激活函数，并将其转换为SNN中的脉冲机制。然后，为Transformer组件设计脉冲等效的替代方案，确保整个模型可以在脉冲域中运行。最后，通过实验验证转换后的SNN模型的性能。

关键创新：LAS的关键创新在于引入了两种新型神经元，专门用于处理ANN-LLM中的激活异常值和非线性操作。这些神经元的设计使得ANN到SNN的转换过程更加平滑，从而避免了信息丢失和性能下降。此外，LAS还针对Transformer组件进行了定制化的脉冲等效设计，确保了整个模型的无损转换。

关键设计：LAS的关键设计包括：1) 激活异常值处理神经元的设计，需要能够有效地抑制异常值，同时保留重要信息；2) 非线性操作转换神经元的设计，需要能够将ANN中的非线性激活函数转换为SNN中的脉冲机制，同时保持函数的近似性；3) 脉冲等效Transformer组件的设计，需要考虑脉冲的时序特性，并确保组件的功能与原始Transformer组件一致。具体的参数设置和网络结构细节需要在实验中进行调整和优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LAS在六个语言模型和两个视觉-语言模型上实现了无损转换，证明了其有效性。特别是在OPT-66B模型上，LAS在WSC任务中甚至提高了2%的准确率，表明该方法不仅能够保持原有性能，还可能带来性能提升。参数和消融实验进一步验证了LAS的各个组件的有效性。

🎯 应用场景

该研究成果可应用于对能耗有严格要求的场景，例如移动设备、边缘计算等。通过将大型语言模型转换为脉冲神经网络，可以在保证模型性能的同时，显著降低能耗，从而扩展LLM的应用范围。未来，该技术有望推动人工智能在资源受限环境中的发展。

📄 摘要（原文）

Spiking Large Language Models (LLMs) have emerged as an energy-efficient alternative to conventional LLMs through their event-driven computation. To effectively obtain spiking LLMs, researchers develop different ANN-to-SNN conversion methods by leveraging pre-trained ANN parameters while inheriting the energy efficiency of SNN. However, existing conversion methods struggle with extreme activation outliers and incompatible nonlinear operations of ANN-based LLMs. To address this, we propose a loss-less ANN-SNN conversion for fully spike-driven LLMs, termed LAS. Specifically, LAS introduces two novel neurons to convert the activation outlier and nonlinear operation of ANN-based LLMs. Moreover, LAS tailors the spike-equivalent Transformer components for spiking LLMs, which can ensure full spiking conversion without any loss of performance. Experimental results on six language models and two vision-language models demonstrate that LAS achieves loss-less conversion. Notably, on OPT-66B, LAS even improves the accuracy of 2\% on the WSC task. In addition, the parameter and ablation studies further verify the effectiveness of LAS. The source code is available at https://github.com/lc783/LAS