Event-based Optical Flow on Neuromorphic Processor: ANN vs. SNN Comparison based on Activation Sparsification

📄 arXiv: 2407.20421v1 📥 PDF

作者: Yingfu Xu, Guangzhi Tang, Amirreza Yousefzadeh, Guido de Croon, Manolis Sifalakis

分类: cs.NE, cs.CV, cs.LG

发布日期: 2024-07-29

备注: 18 pages, 12 figures, 4 tables

💡 一句话要点

提出基于激活稀疏化和神经形态处理器的事件光流算法，对比ANN与SNN的能效。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 事件相机 光流估计 神经形态计算 脉冲神经网络 人工神经网络 稀疏化 低功耗 SENECA处理器

📋 核心要点

  1. 现有文献缺乏对事件光流中ANN和SNN计算效率的公平比较，阻碍了神经形态计算的实际应用。
  2. 提出一种基于激活稀疏化的事件光流解决方案，并利用神经形态处理器SENECA加速ANN和SNN的推理。
  3. 实验结果表明，SNN在时间和能量消耗方面均优于ANN，这归功于SNN较低的像素级脉冲密度。

📝 摘要（中文）

本文提出了一种基于激活稀疏化和神经形态处理器SENECA的事件光流解决方案。SENECA具有事件驱动的处理机制，可以利用ANN激活和SNN脉冲的稀疏性来加速两种类型神经网络的推理。通过新颖的稀疏化感知训练，ANN和SNN具有相似的低激活/脉冲密度（约5%）。在硬件在环实验中，SNN消耗44.9ms和927.0微焦耳，分别是ANN消耗的62.5%和75.2%。研究发现，SNN更高的效率归因于其较低的像素级脉冲密度（43.5% vs. 66.5%），这减少了神经元状态所需的内存访问操作。

🔬 方法详解

问题定义：论文旨在解决事件光流计算中，SNN相较于ANN在计算效率上的优势是否成立的问题。现有方法缺乏公平的比较，难以充分发挥SNN在事件数据处理上的潜力。传统ANN在处理稀疏事件数据时效率较低，而SNN理论上更适合，但缺乏实际硬件上的验证。

核心思路：论文的核心思路是设计一种基于激活稀疏化的事件光流算法，并在神经形态处理器上公平地比较ANN和SNN的性能。通过稀疏化感知训练，使ANN和SNN具有相似的激活/脉冲密度，从而消除网络结构带来的偏差，专注于比较两种网络模型的内在效率。

技术框架：整体框架包括事件数据的预处理、ANN/SNN模型的构建与训练、以及在SENECA神经形态处理器上的部署和推理。预处理阶段将事件数据转换为适合神经网络输入的格式。ANN和SNN模型具有相似的网络结构，但激活函数和神经元模型不同。训练过程采用稀疏化感知训练，以确保网络具有较低的激活/脉冲密度。最后，在SENECA处理器上进行硬件在环实验，测量时间和能量消耗。

关键创新：论文的关键创新在于提出了稀疏化感知训练方法，使得ANN和SNN能够在相似的激活/脉冲密度下进行公平比较。此外，利用SENECA神经形态处理器，实现了ANN和SNN在同一硬件平台上的高效推理，避免了不同硬件平台带来的性能差异。这种公平的比较方法为神经形态计算的研究提供了新的思路。

关键设计：ANN使用ReLU激活函数，SNN使用LIF（Leaky Integrate-and-Fire）神经元模型。训练过程采用稀疏化正则化项，鼓励网络产生稀疏的激活/脉冲。损失函数包括光流预测误差和稀疏化正则化项。SENECA处理器采用事件驱动的处理机制，能够高效地处理稀疏的激活/脉冲数据。具体参数设置（如学习率、正则化系数等）未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在SENECA神经形态处理器上，SNN在时间和能量消耗方面均优于ANN。SNN消耗44.9ms和927.0微焦耳，分别是ANN消耗的62.5%和75.2%。SNN的像素级脉冲密度为43.5%，低于ANN的66.5%，这表明SNN在处理稀疏事件数据时具有更高的效率。

🎯 应用场景

该研究成果可应用于低功耗、实时的事件相机视觉任务，例如无人机导航、机器人感知、自动驾驶等。通过利用SNN的能效优势，可以降低设备的功耗，延长续航时间，并提高系统的响应速度。未来，该技术有望推动神经形态计算在嵌入式系统和边缘计算领域的广泛应用。

📄 摘要（原文）

Spiking neural networks (SNNs) for event-based optical flow are claimed to be computationally more efficient than their artificial neural networks (ANNs) counterparts, but a fair comparison is missing in the literature. In this work, we propose an event-based optical flow solution based on activation sparsification and a neuromorphic processor, SENECA. SENECA has an event-driven processing mechanism that can exploit the sparsity in ANN activations and SNN spikes to accelerate the inference of both types of neural networks. The ANN and the SNN for comparison have similar low activation/spike density (~5%) thanks to our novel sparsification-aware training. In the hardware-in-loop experiments designed to deduce the average time and energy consumption, the SNN consumes 44.9ms and 927.0 microjoules, which are 62.5% and 75.2% of the ANN's consumption, respectively. We find that SNN's higher efficiency attributes to its lower pixel-wise spike density (43.5% vs. 66.5%) that requires fewer memory access operations for neuron states.