Can Spiking Neural Networks play pinball? A neuromorphic motion detector for target tracking
作者: Mazdak Fatahi, Šárka Pryjmaková, Pierre Boulet, Giulia D'Angelo
分类: cs.CV
发布日期: 2026-09-21
💡 一句话要点
提出一种全新脉冲神经网络以实现实时乒乓球游戏目标追踪
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 脉冲神经网络 动态视觉传感器 实时运动感知 闭环控制 能量效率 目标追踪 神经形态计算
📋 核心要点
- 现有方法在快速动态场景中难以实现低延迟和高效的运动感知，尤其是在能量受限的情况下。
- 本文提出了一种基于脉冲神经网络的实时感知-行动管道，能够高效处理动态视觉信息并实现快速反应。
- 实验结果表明，该系统在乒乓球游戏中命中率达到56.1%，反应时间仅为21.7毫秒，显著优于人类玩家。
📝 摘要（中文）
生物视觉系统通过处理稀疏的异步脉冲信号，实现连续、低延迟的运动感知，从而在严格的能量限制下进行实时跟踪。受哺乳动物视网膜启发的事件驱动相机，仅捕捉局部亮度变化，提供了脉冲神经网络（SNNs）并行计算的自然基础。本文提出了一种完全脉冲化的实时感知-行动管道，应用于闭环乒乓球游戏。动态视觉传感器观察快速移动的小球，脉冲时间差编码器网络在SpiNNaker神经形态平台上共同估计其位置、速度和方向。该系统在多个参数下进行特征化，并在闭环中与人类玩家进行基准测试，表现出56.1%的命中率，反应时间为21.7毫秒，能耗仅为148微瓦，展示了其高效性和快速反应能力。
🔬 方法详解
问题定义：本文旨在解决在快速动态场景中，现有运动感知方法的低延迟和高能效问题，尤其是在乒乓球游戏中对小目标的追踪挑战。
核心思路：通过构建一个完全脉冲化的感知-行动管道，利用动态视觉传感器和脉冲时间差编码器网络，实现对快速移动小球的实时跟踪和反应。
技术框架：系统由动态视觉传感器、脉冲时间差编码器和SpiNNaker神经形态平台组成，首先捕捉小球的运动信息，然后通过网络估计其位置、速度和方向，最后实现闭环控制。
关键创新：该研究的主要创新在于实现了一个完全脉冲化的学习无关设计，能够在不依赖传统学习机制的情况下，快速适应动态环境并进行实时决策。
关键设计：系统在多个参数上进行了特征化，包括感受野大小、累积窗口和角度调谐宽度，确保在实时操作中的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该系统在乒乓球游戏中的命中率为56.1%，几乎是人类平均水平的两倍，反应时间为21.7毫秒，其中网络延迟为5毫秒，能耗仅为148微瓦，展现出极高的能效和快速反应能力。
🎯 应用场景
该研究的潜在应用领域包括机器人视觉、自动驾驶、智能监控等需要实时运动感知的场景。其高效的能量使用和快速反应能力使其在低功耗设备中具有重要的实际价值，未来可能推动更多基于脉冲神经网络的智能系统的发展。
📄 摘要（原文）
Biological visual systems achieve continuous, low-latency motion perception by processing sparse, asynchronous spiking signals, enabling real-time tracking under strict energy constraints. Event-based cameras, inspired by the mammalian retina, replicate this efficiency by capturing only local brightness changes as asynchronous events, offering a natural substrate for spiking neural networks (SNNs) to parallelise computation and adapt to fast-changing scenes. Pinball provides a controlled yet dynamic testbed, requiring precise motion estimation and fast reaction to a small, rapidly moving target. This work presents a fully spiking, real-time perception-to-action pipeline for closed-loop pinball gameplay. A dynamic vision sensor observes a small, fast-moving ball, and a network of spiking Time-Difference Encoders on the SpiNNaker neuromorphic platform jointly estimates its position, speed, and direction. The system is characterised across receptive field size, accumulation window, and angular tuning width for real-time operation, and benchmarked in closed loop against human players across two flipper regimes of increasing physical realism. It achieves a hit rate of 56.1%, nearly double the human average, reacting within 21.7 ms (5 ms network latency) and consuming an estimated 148 μW using fewer than 25k neurons, among the fastest and most energy-efficient event-based closed-loop demonstrators benchmarked. Under more realistic flipper dynamics, tuning a single interpretable policy parameter reproduces the full spectrum of human play styles, from cautious to aggressive, with no change to the perception pipeline. A physical demonstrator, tracking a real ball and actuating real flippers in closed loop, confirms the principle operates beyond simulation. Its fully spiking, learning-free design offers a compact, energy-efficient example of real-time neuromorphic perception-to-action.