Fast gradient-free activation maximization for neurons in spiking neural networks

📄 arXiv: 2401.10748v2 📥 PDF

作者: Nikita Pospelov, Andrei Chertkov, Maxim Beketov, Ivan Oseledets, Konstantin Anokhin

分类: cs.NE, cs.LG

发布日期: 2023-12-28 (更新: 2024-06-25)

💡 一句话要点

提出基于张量分解的无梯度激活最大化方法，用于分析脉冲神经网络神经元选择性。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 脉冲神经网络 激活最大化 无梯度优化 张量分解 神经元选择性

📋 核心要点

  1. 生物神经元和人工神经网络神经元都具有对特定认知特征的选择性，理解这些特征对于理解神经网络的内部运作至关重要。
  2. 论文提出了一种基于低秩张量链分解的无梯度激活最大化方法，用于高效地寻找能够最大化脉冲神经网络神经元激活的刺激。
  3. 实验表明，该方法能够有效地应用于脉冲神经网络，并揭示了神经元在训练过程中选择性的变化，以及这种变化与分类精度之间的关系。

📝 摘要（中文）

本文提出了一种高效的框架，用于研究生物和人工神经网络中神经元对特定认知特征的选择性。针对生物神经元响应未知且不可微的特点，该框架通过迭代地改变刺激，最大化神经元响应。该方法基于离散激活函数的低秩张量链分解，并在SN-GAN或VQ-VAE生成模型的潜在参数空间中进行优化。首次将有效的激活最大化（AM）应用于脉冲神经网络（SNN）。研究表明，高度选择性的神经元可以在训练的早期阶段和卷积脉冲网络的早期层中形成。这种优化刺激的形成与分类精度的提高相关。此外，一些神经元，尤其是在较深层中，可能会在学习过程中逐渐改变它们所选择的概念，这可能解释了它们对模型性能的重要性。

🔬 方法详解

问题定义：论文旨在解决脉冲神经网络（SNN）中神经元选择性的分析问题。传统的激活最大化方法通常需要梯度信息，而生物神经元的响应通常是未知的且不可微的，因此无法直接应用。此外，直接在像素空间进行优化效率低下，难以找到有效的刺激。

核心思路：论文的核心思路是利用生成模型（SN-GAN或VQ-VAE）的潜在空间来参数化刺激，并在该潜在空间中进行优化。同时，采用低秩张量链分解来近似离散激活函数，从而实现高效的无梯度优化。通过这种方式，可以在不需要梯度信息的情况下，找到能够最大化神经元激活的刺激。

技术框架：整体框架包含以下几个主要步骤：1）使用SN-GAN或VQ-VAE等生成模型生成图像；2）将生成的图像输入到脉冲神经网络中；3）测量目标神经元的激活值；4）使用基于张量链分解的优化算法，在生成模型的潜在空间中迭代地调整参数，以最大化神经元的激活值。该过程循环进行，直到找到能够最大化神经元激活的刺激。

关键创新：该方法最重要的创新点在于将低秩张量链分解与生成模型相结合，实现了对脉冲神经网络神经元的无梯度激活最大化。这使得研究人员能够在不需要梯度信息的情况下，分析神经元的选择性，并揭示神经元在学习过程中所选择的概念的变化。

关键设计：论文的关键设计包括：1）使用SN-GAN或VQ-VAE等生成模型来参数化刺激，从而降低了优化空间的维度；2）采用低秩张量链分解来近似离散激活函数，从而加速了优化过程；3）使用无梯度优化算法，例如交叉熵方法，在生成模型的潜在空间中进行优化。

📊 实验亮点

实验结果表明，该方法能够有效地应用于脉冲神经网络，并揭示了神经元在训练过程中选择性的变化。研究发现，高度选择性的神经元可以在训练的早期阶段和卷积脉冲网络的早期层中形成。此外，一些神经元在学习过程中会逐渐改变它们所选择的概念，这可能解释了它们对模型性能的重要性。这些发现为理解脉冲神经网络的工作机制提供了新的视角。

🎯 应用场景

该研究成果可应用于神经科学领域，帮助研究人员理解生物神经元的工作机制，以及神经网络如何学习和表示信息。此外，该方法还可以用于优化脉冲神经网络的性能，例如通过设计具有特定选择性的神经元来提高分类精度。该技术在类脑计算、人工智能安全和可解释性等领域具有潜在的应用价值。

📄 摘要（原文）

Elements of neural networks, both biological and artificial, can be described by their selectivity for specific cognitive features. Understanding these features is important for understanding the inner workings of neural networks. For a living system, such as a neuron, whose response to a stimulus is unknown and not differentiable, the only way to reveal these features is through a feedback loop that exposes it to a large set of different stimuli. The properties of these stimuli should be varied iteratively in order to maximize the neuronal response. To utilize this feedback loop for a biological neural network, it is important to run it quickly and efficiently in order to reach the stimuli that maximizes certain neurons' activation with the least number of iterations possible. Here we present a framework with an efficient design for such a loop. We successfully tested it on an artificial spiking neural network (SNN), which is a model that simulates the asynchronous spiking activity of neurons in living brains. Our optimization method for activation maximization is based on the low-rank Tensor Train decomposition of the discrete activation function. The optimization space is the latent parameter space of images generated by SN-GAN or VQ-VAE generative models. To our knowledge, this is the first time that effective AM has been applied to SNNs. We track changes in the optimal stimuli for artificial neurons during training and show that highly selective neurons can form already in the early epochs of training and in the early layers of a convolutional spiking network. This formation of refined optimal stimuli is associated with an increase in classification accuracy. Some neurons, especially in the deeper layers, may gradually change the concepts they are selective for during learning, potentially explaining their importance for model performance.