Event-based vision on FPGAs -- a survey
作者: Tomasz Kryjak
分类: cs.CV
发布日期: 2024-07-11
备注: Accepted for the 2024 27th Euromicro Conference on Digital System Design (DSD)
DOI: 10.1109/DSD64264.2024.00078
💡 一句话要点
综述：基于FPGA的事件相机视觉技术，加速低功耗实时嵌入式系统应用
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 事件相机 FPGA 嵌入式视觉 实时处理 低功耗 脉冲神经网络 视觉算法加速
📋 核心要点
- 传统视觉传感器在高动态范围和低功耗场景下存在局限性，事件相机应运而生，但其数据处理对计算资源提出挑战。
- 利用FPGA的可重构性和并行处理能力，加速事件相机数据的处理，实现低延迟和高能效的嵌入式视觉系统。
- 综述了FPGA在事件相机视觉任务中的应用，包括滤波、立体视觉、光流、AI算法加速以及机器人和检测系统。
📝 摘要（中文）
近年来，人们对事件相机越来越感兴趣，这种视觉传感器可以独立地为每个像素记录光照变化。这种操作确保了在非常不利的光照条件下（包括低光和高动态范围）进行采集，并降低了平均功耗。此外，每个像素的独立操作可实现低延迟，这对于机器人解决方案来说是理想的。如今，现场可编程门阵列（FPGAs）与通用处理器（GPPs/CPUs）和可编程图形处理单元（GPUs）一起，是实现和加速计算任务的流行架构。特别是在过去的30年中，它们在嵌入式视觉领域的实用性已被反复证明，它们能够实现快速数据处理（甚至实时）和能源效率。因此，事件相机和可重构设备的结合似乎是一个很好的解决方案，尤其是在节能实时嵌入式系统的背景下。本文概述了最重要的工作，其中FPGA已在不同的上下文中使用来处理事件数据。它涵盖了以下领域的应用：滤波、立体视觉、光流、用于对象分类、检测和跟踪的基于AI的算法（包括脉冲神经网络）的加速，以及在机器人和检测系统中的应用。还讨论了此类系统的当前趋势和挑战。
🔬 方法详解
问题定义：论文旨在解决事件相机数据处理的计算瓶颈问题。事件相机虽然具有高动态范围、低功耗和低延迟的优点，但其异步事件流的数据特性给传统图像处理架构带来了挑战。现有方法在实时性和能效方面存在不足，难以满足嵌入式系统的需求。
核心思路：论文的核心思路是利用FPGA的并行计算能力和可重构特性，针对事件相机的异步事件流数据进行加速处理。通过在FPGA上实现各种视觉算法，可以充分利用其硬件资源，实现实时性和能效的优化。
技术框架：该综述没有提出新的技术框架，而是对现有基于FPGA的事件相机视觉系统进行了分类和总结。涵盖的应用领域包括：滤波、立体视觉、光流、AI算法加速（对象分类、检测和跟踪，包括脉冲神经网络），以及机器人和检测系统。每个领域都涉及不同的算法和FPGA实现策略。
关键创新：该论文的主要贡献在于对现有研究进行了系统性的总结和分析，梳理了FPGA在事件相机视觉领域的应用现状和发展趋势。它没有提出新的算法或架构，而是为研究人员提供了一个全面的参考，帮助他们了解该领域的研究进展和挑战。
关键设计：由于是综述文章，没有具体的技术细节。但是，文章提到了不同应用领域中常用的算法和FPGA实现策略，例如，在AI算法加速方面，通常采用脉冲神经网络（SNN）等低功耗模型，并利用FPGA的并行计算能力进行加速。
🖼️ 关键图片
📊 实验亮点
该综述总结了FPGA在事件相机视觉领域的应用，涵盖了滤波、立体视觉、光流、AI算法加速等多个方面。尽管没有提供具体的性能数据，但强调了FPGA在实现实时性和能效方面的优势，并指出了当前研究的趋势和挑战，为未来的研究方向提供了参考。
🎯 应用场景
该研究综述的应用场景广泛，涵盖机器人、自动驾驶、工业检测、监控等领域。事件相机结合FPGA的方案，能够为这些应用提供低延迟、高能效的视觉感知能力，尤其适用于资源受限的嵌入式平台。未来，随着事件相机技术的不断发展和FPGA性能的提升，该方案将在更多领域得到应用。
📄 摘要（原文）
In recent years there has been a growing interest in event cameras, i.e. vision sensors that record changes in illumination independently for each pixel. This type of operation ensures that acquisition is possible in very adverse lighting conditions, both in low light and high dynamic range, and reduces average power consumption. In addition, the independent operation of each pixel results in low latency, which is desirable for robotic solutions. Nowadays, Field Programmable Gate Arrays (FPGAs), along with general-purpose processors (GPPs/CPUs) and programmable graphics processing units (GPUs), are popular architectures for implementing and accelerating computing tasks. In particular, their usefulness in the embedded vision domain has been repeatedly demonstrated over the past 30 years, where they have enabled fast data processing (even in real-time) and energy efficiency. Hence, the combination of event cameras and reconfigurable devices seems to be a good solution, especially in the context of energy-efficient real-time embedded systems. This paper gives an overview of the most important works, where FPGAs have been used in different contexts to process event data. It covers applications in the following areas: filtering, stereovision, optical flow, acceleration of AI-based algorithms (including spiking neural networks) for object classification, detection and tracking, and applications in robotics and inspection systems. Current trends and challenges for such systems are also discussed.