DendroNN: Dendrocentric Neural Networks for Energy-Efficient Classification of Event-Based Data
作者: Jann Krausse, Zhe Su, Kyrus Mama, Maryada, Klaus Knobloch, Giacomo Indiveri, Jürgen Becker
分类: cs.LG, cs.AI, cs.AR, cs.ET, cs.NE
发布日期: 2026-03-10
备注: Currently under review
💡 一句话要点
提出DendroNN：一种用于事件数据高效分类的树突中心神经网络
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 脉冲神经网络 事件驱动 树突计算 神经形态硬件 时空信息处理
📋 核心要点
- 传统脉冲神经网络在处理时序信息时依赖递归或延迟，但牺牲了硬件效率。
- DendroNN模拟树突的序列检测机制，将时空特征编码到网络结构中，无需梯度训练。
- 实验表明，DendroNN在事件数据分类任务上具有竞争力，且硬件效率优于现有神经形态硬件。
📝 摘要（中文）
时空信息是多种感觉处理和计算任务的核心。前馈脉冲神经网络可以通过基于事件的计算提供能源效率方面的潜在优势，但它们在解码时间信息方面存在困难。因此，它们通常采用递归或延迟来增强其时间计算能力，但这会降低硬件效率。大脑中的树突是计算能力中心，最近才开始在机器学习系统中得到认可。本文提出了一种新型的神经网络DendroNN，它将树突分支中存在的序列检测机制转化为网络结构，DendroNN将独特的输入脉冲序列识别为时空特征。此外，本文还引入了一个重连阶段，用于训练不可微的脉冲序列，而无需使用梯度。在重连过程中，网络会记忆频繁出现的序列，并丢弃那些不提供任何判别信息的序列。该网络在各种基于事件的时间序列数据集上表现出具有竞争力的准确性。我们还提出了一种使用时间轮机制的异步数字硬件架构，该架构建立在DendroNN的事件驱动设计之上，消除了基于延迟或递归的模型的典型逐步骤全局更新。通过利用DendroNN的动态和静态稀疏性以及内在量化，在相同的音频分类任务上，它实现了比最先进的神经形态硬件高出4倍的效率，同时保持了相当的准确性，证明了其适用于时空事件驱动计算。这项工作为事件驱动硬件上的低功耗时空处理提供了一种新颖的方法。
🔬 方法详解
问题定义：论文旨在解决脉冲神经网络在处理时空事件数据时，为了提高时间信息解码精度而引入的递归或延迟结构，导致硬件效率降低的问题。现有方法难以在精度和效率之间取得平衡。
核心思路：论文的核心思路是模仿生物神经元树突的序列检测机制，将输入脉冲序列转化为时空特征，并直接嵌入到神经网络结构中。通过这种方式，网络能够高效地处理时序信息，而无需复杂的递归或延迟单元。
技术框架：DendroNN的整体架构包括输入层、树突层和输出层。输入层接收事件数据，树突层负责检测特定的脉冲序列，输出层根据树突层的激活情况进行分类。关键的重连阶段用于训练树突层的连接权重，使其能够识别频繁出现且具有判别性的脉冲序列。
关键创新：DendroNN最重要的技术创新点在于其树突中心的设计，以及无需梯度训练的重连机制。与传统的脉冲神经网络相比，DendroNN直接将时空特征编码到网络结构中，避免了复杂的时序建模过程。重连机制则允许网络在训练过程中自适应地学习重要的脉冲序列，而无需依赖梯度信息。
关键设计：重连机制是DendroNN的关键设计之一。在重连过程中，网络会统计每个脉冲序列的出现频率，并根据其判别能力调整连接权重。具体来说，网络会保留频繁出现且能够区分不同类别的脉冲序列，而丢弃那些不具有判别性的序列。此外，论文还提出了一种基于时间轮机制的异步数字硬件架构，以实现DendroNN的高效硬件实现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DendroNN在多个事件数据分类任务上取得了具有竞争力的准确率。在音频分类任务中，DendroNN在保持相当准确率的同时，比最先进的神经形态硬件实现了高达4倍的效率提升。这证明了DendroNN在低功耗时空事件驱动计算方面的潜力。
🎯 应用场景
DendroNN适用于各种需要低功耗、高效率时空信息处理的应用场景，例如：听觉场景分析、语音识别、生物信号处理、机器人感知等。其事件驱动的特性使其特别适合于神经形态计算平台，有望推动边缘计算和嵌入式人工智能的发展。
📄 摘要（原文）
Spatiotemporal information is at the core of diverse sensory processing and computational tasks. Feed-forward spiking neural networks can be used to solve these tasks while offering potential benefits in terms of energy efficiency by computing event-based. However, they have trouble decoding temporal information with high accuracy. Thus, they commonly resort to recurrence or delays to enhance their temporal computing ability which, however, bring downsides in terms of hardware-efficiency. In the brain, dendrites are computational powerhouses that just recently started to be acknowledged in such machine learning systems. In this work, we focus on a sequence detection mechanism present in branches of dendrites and translate it into a novel type of neural network by introducing a dendrocentric neural network, DendroNN. DendroNNs identify unique incoming spike sequences as spatiotemporal features. This work further introduces a rewiring phase to train the non-differentiable spike sequences without the use of gradients. During the rewiring, the network memorizes frequently occurring sequences and additionally discards those that do not contribute any discriminative information. The networks display competitive accuracies across various event-based time series datasets. We also propose an asynchronous digital hardware architecture using a time-wheel mechanism that builds on the event-driven design of DendroNNs, eliminating per-step global updates typical of delay- or recurrence-based models. By leveraging a DendroNN's dynamic and static sparsity along with intrinsic quantization, it achieves up to 4x higher efficiency than state-of-the-art neuromorphic hardware at comparable accuracy on the same audio classification task, demonstrating its suitability for spatiotemporal event-based computing. This work offers a novel approach to low-power spatiotemporal processing on event-driven hardware.