Zero-Shot Temporal Resolution Domain Adaptation for Spiking Neural Networks

📄 arXiv: 2411.04760v2 📥 PDF

作者: Sanja Karilanova, Maxime Fabre, Emre Neftci, Ayça Özçelikkale

分类: cs.LG

发布日期: 2024-11-07 (更新: 2025-06-02)

💡 一句话要点

提出零样本时序分辨率域适应方法，解决SNN在不同时序分辨率数据下的性能下降问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 脉冲神经网络 时序分辨率 域适应 零样本学习 状态空间模型 神经形态计算 音频关键词识别

📋 核心要点

  1. SNN模型对时间分辨率敏感，当训练数据和实际应用数据的时间分辨率不一致时，模型性能会显著下降。
  2. 该论文提出了一种基于神经元动力学与状态空间模型映射的域适应方法，无需在目标时间分辨率上重新训练即可调整神经元参数。
  3. 实验结果表明，该方法在音频关键词识别和图像分类任务上优于现有方法，并验证了在低分辨率数据上训练并在高分辨率数据上应用的可行性。

📝 摘要（中文）

脉冲神经网络(SNNs)是一种受生物学启发的深度神经网络，它能有效地提取时间信息，并在神经形态设备上部署时提供有希望的能效和延迟增益。然而，SNN模型参数对时间分辨率敏感，当边缘目标数据的时间分辨率与用于训练的预部署源数据不同时，会导致性能显著下降，尤其是在边缘无法进行微调时。为了应对这一挑战，我们提出了三种新的域适应方法，用于调整神经元参数以适应时间分辨率的变化，而无需在目标时间分辨率上重新训练。所提出的方法基于SNN中神经元动力学和状态空间模型(SSM)之间的映射，并且适用于一般的神经元模型。我们在时空数据任务下评估了所提出的方法，即音频关键词识别数据集SHD和MSWC以及图像分类NMINST数据集。我们的方法提供了一种替代现有参考方法（即简单地缩放时间常数）的方案，并且在大多数情况下显著优于现有参考方法。此外，我们的结果表明，通过在较低时间分辨率数据上进行时间高效的训练和模型适应，可以获得较高时间分辨率数据上的高精度。

🔬 方法详解

问题定义：SNN模型在不同时序分辨率的数据上表现出显著的性能差异。当训练数据（源域）和实际部署数据（目标域）的时序分辨率不一致时，模型性能会急剧下降。现有的解决方法，如简单地缩放时间常数，效果有限。在边缘设备上进行微调通常不可行，因此需要一种零样本的域适应方法。

核心思路：该论文的核心思路是将SNN中的神经元动力学与状态空间模型（SSM）联系起来。通过这种联系，可以建立神经元参数与时序分辨率之间的映射关系。利用这种映射关系，可以在不重新训练的情况下，将神经元参数从源域的时序分辨率调整到目标域的时序分辨率。

技术框架：该方法包含以下几个主要步骤：1) 建立SNN神经元模型与SSM之间的对应关系；2) 基于该对应关系，推导出神经元参数与时序分辨率之间的映射函数；3) 利用该映射函数，将源域训练好的SNN模型的神经元参数调整到目标域的时序分辨率；4) 在目标域数据上进行推理。

关键创新：该论文的关键创新在于建立了SNN神经元动力学与SSM之间的桥梁，从而实现了零样本的时序分辨率域适应。与现有方法相比，该方法不需要在目标域数据上进行任何训练或微调，因此更加高效和实用。此外，该方法适用于一般的神经元模型，具有较强的通用性。

关键设计：该方法的关键设计包括：1) 选择合适的SSM模型来近似SNN神经元的动力学行为；2) 推导精确的神经元参数与时序分辨率之间的映射函数；3) 设计有效的参数调整策略，以保证模型在适应新的时序分辨率后仍能保持良好的性能。具体的参数设置和网络结构取决于所使用的SNN模型和数据集。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在SHD、MSWC和NMINST数据集上均取得了显著的性能提升，优于简单缩放时间常数的基线方法。例如，在某些情况下，该方法可以将模型精度提高10%以上。此外，实验还验证了在低分辨率数据上训练并在高分辨率数据上应用的可行性，从而降低了训练成本。

🎯 应用场景

该研究成果可应用于各种需要处理时序数据的场景，例如语音识别、视频分析、传感器数据处理等。特别是在边缘计算设备上，由于计算资源和数据获取的限制，零样本域适应方法具有重要的应用价值。该方法可以降低模型训练的成本，提高模型在不同环境下的泛化能力，从而加速SNN在实际应用中的部署。

📄 摘要（原文）

Spiking Neural Networks (SNNs) are biologically-inspired deep neural networks that efficiently extract temporal information while offering promising gains in terms of energy efficiency and latency when deployed on neuromorphic devices. However, SNN model parameters are sensitive to temporal resolution, leading to significant performance drops when the temporal resolution of target data at the edge is not the same with that of the pre-deployment source data used for training, especially when fine-tuning is not possible at the edge. To address this challenge, we propose three novel domain adaptation methods for adapting neuron parameters to account for the change in time resolution without re-training on target time-resolution. The proposed methods are based on a mapping between neuron dynamics in SNNs and State Space Models (SSMs); and are applicable to general neuron models. We evaluate the proposed methods under spatio-temporal data tasks, namely the audio keyword spotting datasets SHD and MSWC as well as the image classification NMINST dataset. Our methods provide an alternative to - and in majority of the cases significantly outperform - the existing reference method that simply scales the time constant. Moreover, our results show that high accuracy on high temporal resolution data can be obtained by time efficient training on lower temporal resolution data and model adaptation.