MSGAT: Multi-Head Spiking Graph Attention with Similarity-Space Fusion for Image-Text Retrieval

📄 arXiv: 2610.11526v1 📥 PDF

作者: Xintao Zong, Wenxuan Liu, Jianhao Ding, Zhaofei Yu, Tiejun Huang

分类: cs.CV, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出MSGAT以解决图像-文本检索中的跨模态对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脉冲神经网络 图像-文本检索 多模态学习 图注意网络 相似性空间融合 能效计算 深度学习

📋 核心要点

  1. 现有的脉冲神经网络在图像-文本检索任务中难以捕捉语义结构，导致跨模态对齐效果不佳。
  2. 本文提出MSGAT，通过动态注意机制和图推理来建模结构关系，提升多模态对齐能力。
  3. 实验结果显示，MSGAT在多个数据集上超越了传统ANN方法，并在能耗上显著降低。

📝 摘要（中文）

脉冲神经网络（SNN）通过稀疏事件驱动计算提供了一种节能的计算范式，展现出在高效多模态学习中的巨大潜力。然而，将SNN应用于图像-文本检索（ITR）等高层次多模态任务仍然面临挑战，因为稀疏的脉冲表示难以捕捉跨模态对齐所需的语义结构。为了解决这些问题，本文提出了一种多头脉冲图注意网络（MSGAT），通过动态注意头捕捉互补关系模式，并实现脉冲驱动的图推理与聚合。此外，本文引入了一种相似性空间融合策略（Sim-Fuse），有效整合粗细粒度匹配关系，避免异构表示的直接融合。实验结果表明，本文方法在Flickr30K和MSCOCO数据集上优于现有的SNN检索基线，并在仅使用两个时间步的情况下，能与其ANN对手相媲美，同时减少55%的理论模块级能耗。

🔬 方法详解

问题定义：本文旨在解决脉冲神经网络在图像-文本检索任务中由于稀疏脉冲表示导致的语义结构捕捉困难的问题。现有方法依赖局部对齐和额外的软标签监督，缺乏对结构和多粒度关系的全面理解。

核心思路：提出的MSGAT通过多头注意机制，动态捕捉互补关系模式，增强了脉冲驱动的图推理与聚合能力，从而改善了跨模态对齐的效果。

技术框架：MSGAT采用双分支多粒度融合框架，结合细粒度和粗粒度的脉冲表示，通过Sim-Fuse策略进行相似性空间融合，避免异构表示的直接干扰。

关键创新：最重要的创新在于引入了Sim-Fuse策略，能够有效整合不同粒度的匹配关系，提升了模型的对齐能力，与现有方法相比，具有更强的结构建模能力。

关键设计：在网络结构上，MSGAT设计了动态注意头以捕捉多样化的关系模式，损失函数则针对多模态对齐进行了优化，确保了模型在训练过程中的有效学习。实验中，使用了两个时间步的脉冲计算，显著降低了能耗。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Flickr30K和MSCOCO数据集上的实验结果表明，MSGAT在匹配设置下超越了现有的ANN方法和SNN检索基线。此外，使用仅两个时间步的脉冲计算，MSGAT在性能上与ANN对手相当，同时能耗降低了55%。

🎯 应用场景

该研究的潜在应用领域包括图像-文本检索、智能搜索引擎和多模态信息检索系统。通过提高检索效率和降低能耗，MSGAT可为实际应用提供更高效的解决方案，推动多模态学习的进一步发展。

📄 摘要（原文）

Spiking neural networks (SNNs) offer an energy-efficient computing paradigm through sparse event-driven computation, showing great potential for efficient multimodal learning. However, applying SNNs to high-level multimodal tasks, such as image-text retrieval (ITR), remains challenging, since sparse spike representations make it difficult to capture semantic structures required for cross-modal alignment. Existing spiking ITR methods rely on local alignment and additional soft-label supervision during training, while lacking awareness of structural and multi-granularity relationships. To address these issues, we propose a Multi-head Spiking Graph Attention Network (\textbf{MSGAT}) for structural modeling and equip it with dynamic attention heads to capture complementary relational patterns and enable spike-driven graph reasoning and aggregation. However, within a two-branch multi-granularity fusion framework, the fine-grained spike representations generated by MSGAT are sparse and discrete, whereas the global representations are continuous, making conventional feature-level fusion susceptible to interference across heterogeneous representations. Therefore, we introduce \textbf{Sim-Fuse}, a similarity-space fusion alignment strategy integrating coarse- and fine-grained matching relations while avoiding direct fusion of heterogeneous representations. Experiments on Flickr30K and MSCOCO show our method outperforms ANN methods under matched settings and existing SNN retrieval baselines. Moreover, with only two time steps, our SNN achieves comparable or superior performance to its ANN counterpart while reducing theoretical module-level energy by 55\%. The code is provided in the Supplementary Materials.