SpikeTrack: A Spike-driven Framework for Efficient Visual Tracking

📄 arXiv: 2602.23963v1 📥 PDF

作者: Qiuyang Zhang, Jiujun Cheng, Qichao Mao, Cong Liu, Yu Fang, Yuhong Li, Mengying Ge, Shangce Gao

分类: cs.CV

发布日期: 2026-02-27

备注: Accepted by CVPR2026

🔗 代码/项目: GITHUB

💡 一句话要点

SpikeTrack：一种用于高效视觉跟踪的脉冲驱动框架

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 脉冲神经网络 视觉跟踪 节能计算 目标检测 时空动态 记忆检索 非对称设计

📋 核心要点

  1. 现有SNN跟踪方法在效率和精度间存在权衡，未能充分利用脉冲神经网络的时空动态特性。
  2. SpikeTrack采用非对称时间步扩展和单向信息流，结合记忆检索模块，提升目标感知能力。
  3. 实验表明，SpikeTrack在SNN跟踪器中达到SOTA，且能耗远低于ANN跟踪器，如TransT。

📝 摘要（中文）

脉冲神经网络（SNN）有望实现节能视觉，但将其应用于RGB视觉跟踪仍然困难。现有的SNN跟踪框架要么与脉冲驱动计算不完全一致，要么没有充分利用神经元的时空动态特性，导致效率和准确性之间的权衡。为了解决这个问题，我们提出了SpikeTrack，一个用于节能RGB目标跟踪的脉冲驱动框架。SpikeTrack采用了一种新颖的非对称设计，该设计使用非对称时间步扩展和单向信息流，从而利用时空动态特性，同时减少计算量。为了确保分支之间有效的单向信息传递，我们设计了一个受神经推理机制启发的记忆检索模块。该模块递归地查询由模板初始化的紧凑记忆，以检索目标线索并随时间推移锐化目标感知。大量实验表明，SpikeTrack在基于SNN的跟踪器中达到了最先进的水平，并且与先进的ANN跟踪器相比仍然具有竞争力。值得注意的是，它在LaSOT数据集上超越了TransT，同时仅消耗其1/26的能量。据我们所知，SpikeTrack是第一个使RGB跟踪既准确又节能的脉冲驱动框架。代码和模型可在https://github.com/faicaiwawa/SpikeTrack获得。

🔬 方法详解

问题定义：现有的基于脉冲神经网络（SNN）的视觉跟踪方法，要么没有完全按照脉冲驱动的计算方式进行设计，要么没有充分利用神经元的时空动态特性。这导致了跟踪精度和计算效率之间的权衡，限制了SNN在视觉跟踪任务中的应用。

核心思路：SpikeTrack的核心思路是通过一种非对称的设计来解决上述问题。具体来说，它采用非对称的时间步扩展和单向的信息流，从而在利用神经元的时空动态特性的同时，减少计算量。此外，还设计了一个记忆检索模块，用于在跟踪过程中不断地检索目标信息，提高跟踪的准确性。

技术框架：SpikeTrack的整体框架包含以下几个主要模块：1) 非对称时间步扩展模块：用于处理输入图像，提取特征。2) 单向信息流模块：用于在不同的特征层之间传递信息。3) 记忆检索模块：用于从模板图像中检索目标信息，并将其用于当前帧的跟踪。整个框架以脉冲驱动的方式进行计算，从而实现高效的能量利用。

关键创新：SpikeTrack的关键创新在于其非对称的设计和记忆检索模块。非对称设计允许网络在不同的时间尺度上处理信息，从而更好地利用神经元的时空动态特性。记忆检索模块则能够有效地从模板图像中提取目标信息，并将其用于当前帧的跟踪，从而提高跟踪的准确性。这是首个既保证精度又保证能效的脉冲驱动RGB跟踪框架。

关键设计：SpikeTrack的关键设计包括：1) 非对称时间步扩展的具体实现方式，包括如何选择不同的时间步长。2) 单向信息流的具体实现方式，包括如何设计信息传递的结构。3) 记忆检索模块的具体实现方式，包括如何构建记忆，如何进行检索，以及如何将检索到的信息用于跟踪。此外，损失函数的设计也至关重要，需要平衡跟踪的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SpikeTrack在LaSOT数据集上超越了TransT，同时仅消耗其1/26的能量。实验结果表明，SpikeTrack在基于SNN的跟踪器中达到了最先进的水平，并且与先进的ANN跟踪器相比仍然具有竞争力。这证明了SpikeTrack在精度和效率方面的优势。

🎯 应用场景

SpikeTrack在低功耗视觉跟踪领域具有广阔的应用前景，例如在无人机、机器人、智能监控等设备上部署，可以实现高效、节能的目标跟踪。该研究成果有助于推动脉冲神经网络在实际应用中的发展，并为未来的视觉跟踪算法设计提供新的思路。

📄 摘要（原文）

Spiking Neural Networks (SNNs) promise energy-efficient vision, but applying them to RGB visual tracking remains difficult: Existing SNN tracking frameworks either do not fully align with spike-driven computation or do not fully leverage neurons' spatiotemporal dynamics, leading to a trade-off between efficiency and accuracy. To address this, we introduce SpikeTrack, a spike-driven framework for energy-efficient RGB object tracking. SpikeTrack employs a novel asymmetric design that uses asymmetric timestep expansion and unidirectional information flow, harnessing spatiotemporal dynamics while cutting computation. To ensure effective unidirectional information transfer between branches, we design a memory-retrieval module inspired by neural inference mechanisms. This module recurrently queries a compact memory initialized by the template to retrieve target cues and sharpen target perception over time. Extensive experiments demonstrate that SpikeTrack achieves the state-of-the-art among SNN-based trackers and remains competitive with advanced ANN trackers. Notably, it surpasses TransT on LaSOT dataset while consuming only 1/26 of its energy. To our knowledge, SpikeTrack is the first spike-driven framework to make RGB tracking both accurate and energy efficient. The code and models are available at https://github.com/faicaiwawa/SpikeTrack.