Perforated Neural Networks for Keyword Spotting

📄 arXiv: 2605.15647v1 📥 PDF

作者: Vishy Gopal, Aris Ilias Goutis, Ralph Crewe, Erin Yanacek, Rorry Brenner

分类: cs.LG, cs.NE

发布日期: 2026-05-15

备注: 9 pages, 1 figure, 800-trial hyperparameter sweep; Best Model award, Edge Impulse 2025 Hackathon

💡 一句话要点

提出基于穿孔神经网络的关键词识别方法，在边缘设备上实现高精度和小模型。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 关键词识别 边缘计算 神经网络压缩 穿孔反向传播 树突网络

📋 核心要点

  1. 边缘机器学习面临严格的内存预算、有限的计算能力和不可妥协的精度阈值等多重约束。
  2. 论文提出穿孔反向传播方法，通过添加人工树突节点，优化网络结构，提升模型性能。
  3. 实验结果表明，该方法在关键词识别任务中，能够以更少的参数达到更高的精度。

📝 摘要（中文）

本文提出了一种名为“穿孔反向传播”的技术，并将其应用于Edge Impulse平台上的关键词识别任务。该方法在2025年Edge Impulse Hackathon中荣获最佳模型奖。通过在标准的卷积神经网络中添加人工树突节点，我们证明了树突模型在所有参数量级别和所有测试精度阈值下，均优于传统的网络结构，实验涵盖了800个超参数组合。最佳树突模型仅用1500个参数就达到了0.933的测试精度，而基线模型需要约4000个参数才能达到0.921的精度。这些结果表明，穿孔反向传播是边缘AI工程师工具箱中的一个强大补充，能够在提高模型质量的同时，提升部署效率。

🔬 方法详解

问题定义：论文旨在解决边缘设备上关键词识别模型部署的难题。现有方法通常难以同时满足内存、计算和精度要求，压缩和优化技术往往顾此失彼。如何在资源受限的边缘设备上部署高精度、小尺寸的模型是核心挑战。

核心思路：论文的核心思路是引入“穿孔反向传播”技术，通过在神经网络中添加人工树突节点，改变网络的连接方式和信息传递路径。这种方法旨在提高模型的表达能力，同时减少参数数量，从而在精度和模型大小之间取得更好的平衡。

技术框架：该方法基于Edge Impulse平台，使用标准的卷积神经网络作为基础架构。在训练过程中，通过穿孔反向传播算法，动态地调整网络连接，并优化人工树突节点的参数。整体流程包括数据预处理、模型构建、穿孔反向传播训练和模型评估等步骤。

关键创新：最重要的技术创新在于“穿孔反向传播”算法和人工树突节点的引入。传统神经网络的连接方式相对固定，而穿孔反向传播允许网络在训练过程中动态地调整连接，从而更好地适应特定任务。人工树突节点则为网络增加了非线性特性，提高了模型的表达能力。

关键设计：论文的关键设计包括人工树突节点的结构和参数初始化方法，以及穿孔反向传播算法的具体实现。具体的参数设置、损失函数和网络结构等技术细节在论文中可能没有详细展开，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，最佳的树突模型仅使用1500个参数就达到了0.933的测试精度，而基线模型需要约4000个参数才能达到0.921的精度。这意味着在保持甚至提高精度的前提下，模型大小减少了约62.5%。该结果突显了穿孔反向传播在边缘设备上部署关键词识别模型的潜力。

🎯 应用场景

该研究成果可广泛应用于各种边缘计算设备上的关键词识别应用，例如智能家居设备、可穿戴设备和物联网传感器等。通过降低模型大小和提高精度，该方法能够显著提升这些设备在资源受限环境下的性能和用户体验，并降低部署成本。

📄 摘要（原文）

Edge machine learning presents a unique set of constraints not encountered in cloud-scale model deployment: strict memory budgets, limited compute, and non-negotiable accuracy thresholds must all be satisfied simultaneously. Existing compression and optimization techniques can trade one resource for another, but rarely improve both accuracy and model size at the same time. This paper presents the application of Perforated Backpropagation to keyword spotting on the Edge Impulse platform, an experiment that won the Best Model award at the Edge Impulse 2025 Hackathon in December 2025. By adding artificial Dendrite Nodes to a standard convolutional neural network trained on the Edge Impulse keyword spotting tutorial pipeline, we demonstrate that dendritic models outperform traditional architectures at every level of parameter count and at every accuracy threshold tested across 800 hyperparameter trials. The best dendritic model achieved a test accuracy of 0.933 with only 1,500 parameters, versus the baseline accuracy of 0.921 requiring approximately 4,000 parameters. These results suggest that Perforated Backpropagation is a powerful addition to the edge AI engineer's toolkit, offering simultaneous gains in both model quality and deployment efficiency.