I2E: Real-Time Image-to-Event Conversion for High-Performance Spiking Neural Networks

📄 arXiv: 2511.08065v1 📥 PDF

作者: Ruichen Ma, Liwei Meng, Guanchao Qiao, Ning Ning, Yang Liu, Shaogang Hu

分类: cs.CV

发布日期: 2025-11-11

备注: AAAI-26 Oral

💡 一句话要点

I2E：用于高性能脉冲神经网络的实时图像到事件转换框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 脉冲神经网络 事件相机 图像到事件转换 数据增强 神经形态计算

📋 核心要点

  1. 脉冲神经网络缺乏足够的事件流数据，限制了其发展和应用。
  2. I2E通过模拟微眼跳运动，将静态图像高效转换为高保真事件流，实现数据增强。
  3. 实验表明，I2E生成的数据能有效训练SNN，并在真实数据集上取得优异性能。

📝 摘要（中文）

脉冲神经网络(SNNs)具有高能效计算的潜力，但事件流数据的严重匮乏阻碍了其应用。本文提出了I2E，一个通过将静态图像转换为高保真事件流来解决这一瓶颈的算法框架。通过使用高度并行化的卷积模拟微眼跳运动，I2E实现了比现有方法快300倍以上的转换速度，从而能够为SNN训练进行实时数据增强。该框架的有效性已在大规模基准测试中得到验证。在生成的I2E-ImageNet数据集上训练的SNN达到了60.50%的最先进精度。重要的是，这项工作建立了一个强大的sim-to-real范例，即在合成I2E数据上进行预训练，并在真实世界的CIFAR10-DVS数据集上进行微调，从而产生了前所未有的92.5%的精度。这一结果验证了合成事件数据可以作为真实传感器数据的高保真代理，弥合了神经形态工程中长期存在的差距。通过为数据问题提供可扩展的解决方案，I2E为开发高性能神经形态系统提供了一个基础工具包。开源算法和所有生成的数据集均已提供，以加速该领域的研究。

🔬 方法详解

问题定义：脉冲神经网络(SNNs)作为一种新兴的低功耗计算模型，受到越来越多的关注。然而，SNN的训练需要大量的事件流数据，而真实事件相机获取的数据有限且昂贵。现有方法通常速度较慢，难以满足大规模SNN训练的需求。因此，如何高效地将静态图像转换为高质量的事件流数据，成为SNN研究的关键问题。

核心思路：I2E的核心思路是模拟人类视觉系统中的微眼跳运动，通过在静态图像上引入微小的位移，产生类似于事件相机捕捉到的事件流。这种方法利用了卷积运算的高度并行性，从而实现了快速的图像到事件转换。通过控制微眼跳的参数，可以生成不同特征的事件流数据，用于SNN的训练和测试。

技术框架：I2E框架主要包含以下几个阶段：1) 图像输入：输入静态图像。2) 微眼跳模拟：使用卷积核模拟微眼跳运动，对图像进行微小的位移。卷积核的参数决定了微眼跳的幅度和方向。3) 事件生成：根据图像像素值的变化，生成事件流数据。像素值变化超过一定阈值时，则认为产生了一个事件。4) 数据输出：输出生成的事件流数据，用于SNN的训练或测试。

关键创新：I2E最重要的技术创新在于其高效的图像到事件转换算法。与现有方法相比，I2E利用卷积运算的并行性，显著提高了转换速度，实现了300倍以上的加速。此外，I2E还提供了一种sim-to-real的训练范式，即先在合成数据上进行预训练，然后在真实数据上进行微调，从而提高了SNN在真实场景中的性能。

关键设计：I2E的关键设计包括：1) 卷积核的设计：卷积核的参数决定了微眼跳的幅度和方向，需要根据具体的应用场景进行调整。2) 事件阈值的设置：事件阈值决定了像素值变化多少才会被认为是一个事件，需要根据图像的噪声水平进行调整。3) 数据增强策略：通过调整微眼跳的参数，可以生成不同特征的事件流数据，用于数据增强。

📊 实验亮点

该研究在I2E-ImageNet数据集上训练的SNN达到了60.50%的state-of-the-art精度。更重要的是，通过在合成I2E数据上预训练，并在真实世界的CIFAR10-DVS数据集上微调，SNN达到了前所未有的92.5%的精度。这表明合成事件数据可以作为真实传感器数据的高保真代理，为SNN的训练提供了一种有效的解决方案。

🎯 应用场景

I2E框架在神经形态计算领域具有广泛的应用前景。它可以用于解决SNN训练中数据匮乏的问题，加速SNN在图像识别、目标检测、机器人导航等领域的应用。此外，I2E还可以用于生成用于评估SNN性能的合成数据集，为SNN算法的开发和优化提供支持。该研究有望推动神经形态计算的发展，实现更高效、更智能的计算系统。

📄 摘要（原文）

Spiking neural networks (SNNs) promise highly energy-efficient computing, but their adoption is hindered by a critical scarcity of event-stream data. This work introduces I2E, an algorithmic framework that resolves this bottleneck by converting static images into high-fidelity event streams. By simulating microsaccadic eye movements with a highly parallelized convolution, I2E achieves a conversion speed over 300x faster than prior methods, uniquely enabling on-the-fly data augmentation for SNN training. The framework's effectiveness is demonstrated on large-scale benchmarks. An SNN trained on the generated I2E-ImageNet dataset achieves a state-of-the-art accuracy of 60.50%. Critically, this work establishes a powerful sim-to-real paradigm where pre-training on synthetic I2E data and fine-tuning on the real-world CIFAR10-DVS dataset yields an unprecedented accuracy of 92.5%. This result validates that synthetic event data can serve as a high-fidelity proxy for real sensor data, bridging a long-standing gap in neuromorphic engineering. By providing a scalable solution to the data problem, I2E offers a foundational toolkit for developing high-performance neuromorphic systems. The open-source algorithm and all generated datasets are provided to accelerate research in the field.