Robust Representation Learning for Spiking Neural Networks based on Conditional Information Bottleneck

📄 arXiv: 2610.28110v1 📥 PDF

作者: Yuli Zha, Wang Fan, Yixiao Dai, Lingjie Wang, Bang Hu, Wei Cao, Fengzhe Zhang, Fan Zhang

分类: cs.AI

发布日期: 2026-10-20

备注: 17 pages

💡 一句话要点

提出SCIB以解决脉冲神经网络的鲁棒性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 脉冲神经网络 鲁棒性 条件信息瓶颈 对抗攻击 低功耗计算

📋 核心要点

  1. 现有脉冲神经网络在面对输入扰动和对抗攻击时表现出脆弱性，主要由于其学习到的输入特定表示。
  2. 本文提出SCIB，通过条件信息瓶颈优化脉冲神经网络的鲁棒性，替换传统的互信息压缩项，增强了模型的表达能力。
  3. 实验表明，SCIB在Fashion-MNIST、CIFAR-10和CIFAR-100数据集上，在多种噪声条件下显著提高了鲁棒性和对抗准确率。

📝 摘要（中文）

脉冲神经网络（SNNs）因其事件驱动处理和时空稀疏性在低功耗神经形态计算中展现出巨大潜力，但在实际应用中仍然容易受到输入扰动、硬件噪声和对抗攻击的影响。我们认为这种脆弱性部分源于标准SNNs在使用传统交叉熵损失训练时学习到的输入特定隐藏表示。为了解决这一问题，本文提出了一种基于条件信息瓶颈的鲁棒学习目标SCIB。与传统变分信息瓶颈方法不同，SCIB用条件互信息替代了互信息压缩项，并引入了可学习的类条件先验，从而提高了变分压缩的表达能力。实验结果表明，SCIB在多种噪声条件下相较于标准SNNs和基线方法显著提高了鲁棒性，并在对抗攻击下提升了准确率，同时减少了24.9%的单样本推理能耗。

🔬 方法详解

问题定义：本文旨在解决脉冲神经网络在实际应用中对输入扰动、硬件噪声和对抗攻击的脆弱性。现有方法主要依赖于传统的交叉熵损失，导致学习到的表示与输入高度相关，缺乏鲁棒性。

核心思路：提出SCIB作为一种新的鲁棒学习目标，利用条件信息瓶颈来优化脉冲神经网络的表示学习。通过引入条件互信息，SCIB能够在保持分类性能的同时，减少输入特定信息的保留，从而提高模型的鲁棒性。

技术框架：SCIB的整体架构包括输入数据、条件信息瓶颈模块和分类模块。首先，输入数据通过条件信息瓶颈进行处理，提取与类别相关的特征；然后，这些特征被用于分类任务，优化模型的表现。

关键创新：SCIB的核心创新在于用条件互信息替代传统的互信息压缩项，并引入可学习的类条件先验。这种设计使得模型能够更好地捕捉类结构信息，从而提高了表示的鲁棒性和表达能力。

关键设计：在损失函数设计上，SCIB结合了条件互信息和监督分类目标，确保模型在学习过程中能够有效压缩输入特定信息。同时，采用可学习的类条件先验而非标签无关的高斯先验，进一步增强了模型的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SCIB在Fashion-MNIST、CIFAR-10和CIFAR-100数据集上，相较于标准脉冲神经网络和基线方法，在多种噪声条件下显著提高了鲁棒性，并在对抗攻击下提升了准确率，且单样本推理能耗降低了24.9%。

🎯 应用场景

该研究的潜在应用领域包括低功耗的嵌入式系统、智能传感器网络和机器人控制等。通过提高脉冲神经网络的鲁棒性，SCIB能够在复杂环境中更可靠地执行任务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Spiking Neural Networks (SNNs) have shown great potential for low-power neuromorphic computing due to their event-driven processing and spatiotemporal sparsity, but they remain vulnerable to input perturbations, hardware-intrinsic noise, and adversarial attacks in real-world deployment. We attribute this vulnerability partly to input-specific hidden representations learned by standard SNNs trained with conventional cross-entropy loss, as our information-plane analysis empirically shows that substantial input-related information can still be retained after label-predictive information becomes stable. To address this issue, we propose SCIB, a simple yet effective robust learning objective for SNNs based on the Conditional Information Bottleneck. Different from conventional variational IB methods, SCIB replaces the mutual information compression term $I(X;S)$ with the conditional mutual information $I(X;S|Y)$ and derives a tractable variational upper bound. Moreover, it introduces a learnable class-conditional prior instead of a label-agnostic isotropic Gaussian prior, improving the expressiveness of variational compression and encouraging class-structured representations when combined with the supervised classification objective. Systematic experiments on Fashion-MNIST, CIFAR-10, and CIFAR-100 under external environmental noise, neuromorphic hardware noise, and adversarial attacks show that SCIB improves robustness over standard SNNs and IB-based baselines under most evaluated noise conditions, improves adversarial accuracy under the evaluated attacks without using adversarial training, and reduces the SynOps-based single-sample inference energy consumption by 24.9% relative to an unconstrained SNN baseline.