GET: Group Event Transformer for Event-Based Vision

📄 arXiv: 2310.02642v1 📥 PDF

作者: Yansong Peng, Yueyi Zhang, Zhiwei Xiong, Xiaoyan Sun, Feng Wu

分类: cs.CV, cs.AI

发布日期: 2023-10-04

备注: This paper is accepted by ICCV 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出Group Event Transformer以解决事件摄像头信息提取不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 事件摄像头 视觉Transformer 特征提取 时间极性解耦 深度学习

📋 核心要点

  1. 现有的事件摄像头处理方法主要依赖图像设计，忽视了时间和极性等重要信息，导致特征提取效果不佳。
  2. 本文提出的Group Event Transformer通过Group Token对异步事件进行分组，解耦时间-极性信息与空间信息，提升特征提取能力。
  3. 在多个事件分类和目标检测数据集上，GET的表现超越了当前的最先进方法，验证了其有效性和优越性。

📝 摘要（中文）

事件摄像头是一种新型的神经形态传感器，近年来受到越来越多的关注。现有的基于事件的骨干网络主要依赖图像设计来提取图像中的空间信息，忽视了时间和极性等重要事件特性。为了解决这一问题，本文提出了一种新颖的基于组的视觉Transformer骨干网络，称为Group Event Transformer（GET），在特征提取过程中将时间-极性信息与空间信息解耦。具体而言，我们首先提出了一种新的事件表示方法，称为Group Token，它根据时间戳和极性对异步事件进行分组。然后，GET应用事件双重自注意力模块和组Token聚合模块，以促进空间和时间-极性领域中有效的特征通信与整合。最后，GET可以通过连接不同的头部与各种下游任务集成。我们在四个基于事件的分类数据集和两个基于事件的目标检测数据集上评估了我们的方法，结果表明GET优于其他最先进的方法。

🔬 方法详解

问题定义：本文旨在解决现有事件摄像头处理方法在特征提取中对时间和极性信息的忽视，导致信息提取效果不理想的问题。

核心思路：提出Group Event Transformer（GET），通过Group Token对异步事件进行分组，从而在特征提取过程中有效解耦时间-极性信息与空间信息。

技术框架：GET的整体架构包括事件双重自注意力模块和组Token聚合模块，分别用于特征的有效通信和整合，确保在空间和时间-极性领域的特征融合。

关键创新：最重要的创新在于Group Token的提出，它通过时间戳和极性对事件进行分组，显著提升了特征提取的效率和准确性，与现有方法形成了本质区别。

关键设计：GET的设计中，采用了特定的参数设置和损失函数，以优化特征提取过程，确保网络结构能够有效处理异步事件数据。具体的网络结构和参数设置在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个事件分类数据集（如Cifar10-DVS、N-MNIST等）和目标检测数据集上，GET的性能显著优于其他最先进的方法，具体提升幅度达到XX%，验证了其在事件驱动视觉任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉、实时监控等需要高效处理动态场景的任务。GET的设计能够提升事件摄像头在复杂环境下的表现，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Event cameras are a type of novel neuromorphic sen-sor that has been gaining increasing attention. Existing event-based backbones mainly rely on image-based designs to extract spatial information within the image transformed from events, overlooking important event properties like time and polarity. To address this issue, we propose a novel Group-based vision Transformer backbone for Event-based vision, called Group Event Transformer (GET), which de-couples temporal-polarity information from spatial infor-mation throughout the feature extraction process. Specifi-cally, we first propose a new event representation for GET, named Group Token, which groups asynchronous events based on their timestamps and polarities. Then, GET ap-plies the Event Dual Self-Attention block, and Group Token Aggregation module to facilitate effective feature commu-nication and integration in both the spatial and temporal-polarity domains. After that, GET can be integrated with different downstream tasks by connecting it with vari-ous heads. We evaluate our method on four event-based classification datasets (Cifar10-DVS, N-MNIST, N-CARS, and DVS128Gesture) and two event-based object detection datasets (1Mpx and Gen1), and the results demonstrate that GET outperforms other state-of-the-art methods. The code is available at https://github.com/Peterande/GET-Group-Event-Transformer.