Spiking Neural Networks with Temporal Attention-Guided Adaptive Fusion for imbalanced Multi-modal Learning

📄 arXiv: 2505.14535v1 📥 PDF

作者: Jiangrong Shen, Yulin Xie, Qi Xu, Gang Pan, Huajin Tang, Badong Chen

分类: cs.LG, cs.HC

发布日期: 2025-05-20

💡 一句话要点

提出时序注意力引导的自适应融合SNN，解决多模态不平衡学习问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脉冲神经网络 多模态学习 时序注意力 自适应融合 模态不平衡 神经形态计算

📋 核心要点

  1. 现有方法在多模态SNN中存在模态收敛速度不一致和静态融合机制，忽略了时变的跨模态交互。
  2. 提出时序注意力引导的自适应融合框架，通过TAAF模块和自适应平衡损失，动态调整模态重要性。
  3. 在CREMA-D、AVE和EAD数据集上取得了SOTA性能，准确率分别达到77.55%、70.65%和97.5%。

📝 摘要（中文）

多模态脉冲神经网络(SNNs)在节能型感知处理方面具有巨大潜力，但面临模态不平衡和时间错位的关键挑战。现有方法存在模态间收敛速度不协调以及忽略时变跨模态交互的静态融合机制等问题。本文提出了一种用于多模态SNNs的时序注意力引导的自适应融合框架，包含两项协同创新：1) 时序注意力引导的自适应融合(TAAF)模块，动态地为每个时间步融合的脉冲特征分配重要性分数，从而实现时间异构的基于脉冲的特征的分层集成；2) 时序自适应平衡融合损失，基于上述注意力分数调节每个模态的学习率，防止主导模态垄断优化。该框架实现了自适应融合，尤其是在时间维度上，并缓解了多模态学习期间的模态不平衡问题，模仿了皮层多感觉整合原理。在CREMA-D、AVE和EAD数据集上的评估表明，该方法实现了最先进的性能（分别为77.55%、70.65%和97.5%的准确率），同时具有能源效率。该系统通过可学习的时间扭曲操作和比基线SNN更快的模态收敛协调来解决时间错位问题。这项工作为神经形态系统中的时间相干多模态学习建立了一个新的范例，弥合了生物感觉处理和高效机器智能之间的差距。

🔬 方法详解

问题定义：论文旨在解决多模态脉冲神经网络（SNNs）中由于模态信息的不平衡和时间上的不对齐而导致的性能瓶颈问题。现有的多模态SNNs方法通常采用静态的融合策略，无法有效地处理不同模态之间动态变化的关系，并且容易受到优势模态的影响，导致模型学习偏向于某些模态，忽略了其他模态的信息。

核心思路：论文的核心思路是引入时序注意力机制，动态地评估和调整不同模态在不同时间步的重要性，从而实现更有效的模态融合。通过学习每个时间步的注意力权重，模型可以自适应地关注更重要的模态信息，并抑制不相关或噪声模态的影响。此外，论文还设计了一种自适应平衡损失函数，以进一步缓解模态不平衡问题，确保所有模态都能得到充分的学习。

技术框架：整体框架包含以下几个主要模块：1) 模态特定的SNN编码器：用于将不同模态的输入数据转换为脉冲序列；2) 时序注意力引导的自适应融合（TAAF）模块：该模块计算每个时间步的注意力权重，并根据权重对不同模态的脉冲特征进行融合；3) 分类器：用于根据融合后的脉冲特征进行最终的分类预测。整个流程是，首先各个模态的数据经过SNN编码器，然后将编码后的脉冲序列输入到TAAF模块中进行融合，最后将融合后的特征输入到分类器中得到预测结果。

关键创新：论文的关键创新在于提出了TAAF模块和时序自适应平衡融合损失。TAAF模块能够动态地学习每个时间步的模态注意力权重，从而实现更精细化的模态融合。时序自适应平衡融合损失则能够根据注意力权重动态地调整每个模态的学习率，从而缓解模态不平衡问题。与现有方法相比，该方法能够更好地处理多模态数据中的时间依赖性和模态不平衡问题。

关键设计：TAAF模块使用一个小型神经网络来计算每个时间步的注意力权重，该网络的输入是各个模态的脉冲特征。时序自适应平衡融合损失通过注意力权重来调整每个模态的损失权重，使得模型更加关注重要性较低的模态，从而缓解模态不平衡问题。具体的网络结构和参数设置在论文中有详细描述，损失函数的具体形式也进行了明确的定义。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在CREMA-D、AVE和EAD数据集上取得了显著的性能提升，分别达到了77.55%、70.65%和97.5%的准确率，超越了现有的SOTA方法。此外，实验还验证了该方法在缓解模态不平衡和时间错位问题方面的有效性，证明了其在多模态学习中的优越性。

🎯 应用场景

该研究成果可应用于智能机器人、自动驾驶、智能监控等领域，提升系统在复杂环境下的感知能力和鲁棒性。通过模仿生物神经系统的多感觉整合机制，该方法有望实现更高效、更智能的机器感知系统，为下一代人工智能技术的发展奠定基础。

📄 摘要（原文）

Multimodal spiking neural networks (SNNs) hold significant potential for energy-efficient sensory processing but face critical challenges in modality imbalance and temporal misalignment. Current approaches suffer from uncoordinated convergence speeds across modalities and static fusion mechanisms that ignore time-varying cross-modal interactions. We propose the temporal attention-guided adaptive fusion framework for multimodal SNNs with two synergistic innovations: 1) The Temporal Attention-guided Adaptive Fusion (TAAF) module that dynamically assigns importance scores to fused spiking features at each timestep, enabling hierarchical integration of temporally heterogeneous spike-based features; 2) The temporal adaptive balanced fusion loss that modulates learning rates per modality based on the above attention scores, preventing dominant modalities from monopolizing optimization. The proposed framework implements adaptive fusion, especially in the temporal dimension, and alleviates the modality imbalance during multimodal learning, mimicking cortical multisensory integration principles. Evaluations on CREMA-D, AVE, and EAD datasets demonstrate state-of-the-art performance (77.55\%, 70.65\% and 97.5\%accuracy, respectively) with energy efficiency. The system resolves temporal misalignment through learnable time-warping operations and faster modality convergence coordination than baseline SNNs. This work establishes a new paradigm for temporally coherent multimodal learning in neuromorphic systems, bridging the gap between biological sensory processing and efficient machine intelligence.