A 25-$μ$s/inf Event-driven Graph Neural Network Processor with Spatiotemporal Caching and Spline Convolution for Ultra-low-latency AI at the Edge

📄 arXiv: 2609.15241v1 📥 PDF

作者: Adrian Kneip, Martin Lefebvre, Daniel Gehrig, Victoria Catalán Pastor, Davide Scaramuzza, Marian Verhelst, Charlotte Frenkel

分类: cs.CV, cs.AR

发布日期: 2026-09-14

备注: This paper was accepted for presentation at the IEEE ESSERC 2026 conference

💡 一句话要点

提出ETHEREAL以解决事件驱动图神经网络加速问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 事件驱动神经网络 图神经网络 边缘计算 动态视觉传感器 样条卷积 时空缓存 硬件加速

📋 核心要点

  1. 现有的事件驱动图神经网络在处理动态视觉传感器生成的事件时面临密集计算与稀疏内存访问的挑战。
  2. 论文提出ETHEREAL加速器，通过邻域并行样条卷积和时空缓存机制，优化了EV-GNN的硬件实现。
  3. 实验结果显示，ETHEREAL在640×480分辨率下实现了25.6微秒的推理延迟和1.7微焦耳的能耗，显著提升了性能。

📝 摘要（中文）

动态视觉传感器（DVS）相机以每个像素生成事件，具有微秒级的时间分辨率，这要求与标准帧基视觉相比，采用新的算法-硬件协同设计方法。事件驱动图神经网络（EV-GNNs）作为一种有前景的算法解决方案，因其密集规则计算操作与稀疏不规则内存访问的混合而带来了新的硬件挑战。本文提出了ETHEREAL，这是第一个可扩展至640×480分辨率的EV-GNN加速器，得益于邻域并行样条卷积引擎和具有新颖区域兴趣时空缓存机制的2D/3D分离内存层次结构。测量结果表明，在最先进的工作负载下，端到端推理延迟为25.6微秒，每个事件能耗为1.7微焦耳。

🔬 方法详解

问题定义：本文旨在解决事件驱动图神经网络在动态视觉传感器下的加速问题，现有方法在处理密集计算与稀疏内存访问时效率低下，导致延迟和能耗较高。

核心思路：ETHEREAL加速器通过引入邻域并行样条卷积引擎和2D/3D分离内存层次结构，结合时空缓存机制，优化了数据访问模式，从而提高了推理速度和能效。

技术框架：ETHEREAL的整体架构包括样条卷积引擎、分离的内存层次结构和时空缓存机制。样条卷积引擎负责高效的计算，而内存层次结构则优化了数据的存取效率。

关键创新：ETHEREAL的主要创新在于其邻域并行样条卷积设计和区域兴趣时空缓存机制，这使得加速器能够在高分辨率下高效处理事件数据，显著降低了延迟。

关键设计：在设计中，ETHEREAL采用了优化的参数设置以适应高分辨率输入，并通过特定的损失函数和网络结构设计，确保了在处理稀疏数据时的高效性。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ETHEREAL在640×480分辨率下实现了25.6微秒的推理延迟，相较于现有基线方法显著降低了延迟，同时每个事件的能耗仅为1.7微焦耳，展示了其在高效能耗管理方面的优势。

🎯 应用场景

ETHEREAL加速器的设计适用于需要低延迟和高能效的边缘计算场景，如自动驾驶、机器人视觉和实时监控等领域。其高效的事件处理能力将推动智能设备在复杂环境中的应用，提升实时决策能力。

📄 摘要（原文）

Dynamic-vision-sensor (DVS) cameras generate events on a per-pixel basis with a $μ$s-level temporal resolution, calling for new algorithm-hardware co-design approaches compared to standard frame-based vision. While event-driven graph neural networks (EV-GNNs) emerge as a promising algorithmic solution, they raise new HW challenges by mixing dense-regular compute operations and sparse-irregular memory accesses. We present ETHEREAL, the first EV-GNN accelerator that scales to 640$\times$480 resolutions, thanks to a neighbor-parallel spline convolution engine and a 2D/3D-split memory hierarchy with a novel region-of-interest spatiotemporal caching mechanism. Measurement results demonstrate end-to-end inference with 25.6$μ$s latency and 1.7$μ$J energy per event on state-of-the-art workloads