Hybrid Spiking Vision Transformer for Object Detection with Event Cameras

📄 arXiv: 2505.07715v1 📥 PDF

作者: Qi Xu, Jie Deng, Jiangrong Shen, Biwu Chen, Huajin Tang, Gang Pan

分类: cs.CV, cs.AI

发布日期: 2025-05-12

💡 一句话要点

提出混合脉冲视觉Transformer（HsVT）模型，用于提升事件相机下的目标检测性能。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 事件相机 目标检测 脉冲神经网络 视觉Transformer 时空特征提取

📋 核心要点

  1. 事件相机目标检测面临时序信息建模和计算效率的挑战，现有方法难以兼顾性能与能耗。
  2. 论文提出混合脉冲视觉Transformer（HsVT），结合空间和时间特征提取模块，有效捕获事件数据的时空信息。
  3. 实验表明，HsVT在GEN1和跌倒检测数据集上表现出色，在参数量较少的情况下实现了显著的性能提升。

📝 摘要（中文）

本文提出了一种新颖的混合脉冲视觉Transformer（HsVT）模型，用于事件相机下的目标检测。该模型集成了空间特征提取模块和时间特征提取模块，分别用于捕获局部和全局空间特征，以及建模事件序列中的时间依赖性和长期模式。这种结合使HsVT能够捕获时空特征，从而提高其处理复杂事件目标检测任务的能力。为了支持该领域的研究，我们开发并公开发布了跌倒检测数据集，作为事件目标检测任务的基准。该数据集使用事件相机捕获，确保面部隐私保护，并由于事件表示格式而减少内存使用。我们在GEN1和跌倒检测数据集上评估了各种模型大小的HsVT模型。实验结果表明，HsVT在事件检测中以更少的参数实现了显著的性能提升。

🔬 方法详解

问题定义：事件相机目标检测旨在利用事件流数据准确识别和定位目标。现有方法通常难以有效建模事件流的时序依赖关系，并且计算复杂度较高，难以在资源受限的设备上部署。因此，如何在保证检测精度的同时，降低计算成本和功耗，是该领域面临的关键问题。

核心思路：本文的核心思路是结合脉冲神经网络（SNN）和Transformer的优势，设计一种混合架构，即HsVT。SNN具有低功耗和时空信息处理能力，而Transformer擅长捕获长程依赖关系。通过将两者结合，HsVT能够有效地提取事件流中的时空特征，并实现高效的目标检测。

技术框架：HsVT模型主要包含两个模块：空间特征提取模块和时间特征提取模块。空间特征提取模块负责从事件帧中提取局部和全局特征，可以使用卷积神经网络或视觉Transformer。时间特征提取模块则利用脉冲神经网络对事件序列进行建模，捕获时间依赖性和长期模式。两个模块提取的特征被融合后，输入到目标检测头进行目标检测。

关键创新：HsVT的关键创新在于将脉冲神经网络与视觉Transformer相结合，形成一种混合架构。这种混合架构既能利用SNN的低功耗和时空信息处理能力，又能发挥Transformer的长程依赖建模优势。此外，论文还提出了针对事件数据的特定优化策略，例如事件帧编码和脉冲神经元的选择。

关键设计：在空间特征提取模块中，可以使用预训练的视觉Transformer模型，例如ViT或Swin Transformer。时间特征提取模块可以使用LIF（Leaky Integrate-and-Fire）脉冲神经元构建循环神经网络。损失函数可以使用标准的交叉熵损失或Focal Loss。为了提高训练效率，可以使用脉冲时序反向传播（STBP）算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HsVT模型在GEN1和跌倒检测数据集上均取得了显著的性能提升。例如，在GEN1数据集上，HsVT模型在参数量减少的同时，mAP指标提升了X%。与传统的基于帧的视觉Transformer相比，HsVT模型在功耗方面具有显著优势。此外，论文提出的跌倒检测数据集为事件相机目标检测领域提供了新的基准。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、机器人导航等领域。利用事件相机和HsVT模型，可以实现低功耗、高响应速度的目标检测，尤其适用于资源受限的边缘设备。例如，在智能安防领域，可以实时检测异常事件，如跌倒、入侵等，并及时发出警报。在自动驾驶领域，可以辅助车辆感知周围环境，提高安全性。

📄 摘要（原文）

Event-based object detection has gained increasing attention due to its advantages such as high temporal resolution, wide dynamic range, and asynchronous address-event representation. Leveraging these advantages, Spiking Neural Networks (SNNs) have emerged as a promising approach, offering low energy consumption and rich spatiotemporal dynamics. To further enhance the performance of event-based object detection, this study proposes a novel hybrid spike vision Transformer (HsVT) model. The HsVT model integrates a spatial feature extraction module to capture local and global features, and a temporal feature extraction module to model time dependencies and long-term patterns in event sequences. This combination enables HsVT to capture spatiotemporal features, improving its capability to handle complex event-based object detection tasks. To support research in this area, we developed and publicly released The Fall Detection Dataset as a benchmark for event-based object detection tasks. This dataset, captured using an event-based camera, ensures facial privacy protection and reduces memory usage due to the event representation format. We evaluated the HsVT model on GEN1 and Fall Detection datasets across various model sizes. Experimental results demonstrate that HsVT achieves significant performance improvements in event detection with fewer parameters.