FPGA-based Acceleration of Neural Network for Image Classification using Vitis AI

📄 arXiv: 2412.20974v1 📥 PDF

作者: Zhengdong Li, Frederick Ziyang Hong, C. Patrick Yue

分类: cs.CV, eess.IV

发布日期: 2024-12-30

💡 一句话要点

利用Vitis AI在FPGA上加速图像分类神经网络，提升吞吐量和能效。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: FPGA加速 卷积神经网络 图像分类 Vitis AI Zynq UltraScale+ 嵌入式系统 能效优化

📋 核心要点

  1. 现有CNN在CPU/GPU上运行时，面临吞吐量不足或功耗过高的挑战，限制了其在资源受限场景下的应用。
  2. 论文提出使用Vitis AI在FPGA上加速CNN，利用FPGA的并行计算能力和可重构性，提高计算效率。
  3. 实验结果表明，该方法在吞吐量和能效方面均优于CPU和GPU基线，验证了其有效性。

📝 摘要（中文）

近年来，卷积神经网络（CNN）在计算机视觉领域得到广泛应用。在CPU或GPU上运行复杂的CNN架构存在吞吐量不足或功耗过高的问题。因此，需要专用硬件来加速计算工作负载以解决这些限制。本文利用Xilinx Zynq UltraScale+ MPSoC ZCU104 FPGA评估板，使用Vitis-AI加速用于CIFAR-10数据集图像分类的CNN。结果表明，与CPU和GPU基线相比，吞吐量提高了3.33-5.82倍，能效提高了3.39-6.30倍。这显示了提取2D特征以用于下游任务（如深度估计和3D重建）的潜力。

🔬 方法详解

问题定义：论文旨在解决在资源受限的嵌入式系统中，运行计算密集型CNN进行图像分类时，CPU和GPU的吞吐量不足和功耗过高的问题。现有方法难以在满足实时性要求的同时，保证较低的功耗。

核心思路：论文的核心思路是利用FPGA的可重构性和并行计算能力，将CNN的计算任务卸载到FPGA上进行加速。通过Vitis AI工具链，将训练好的CNN模型部署到FPGA上，并进行优化，以实现更高的吞吐量和更低的功耗。

技术框架：整体框架包括以下几个主要步骤：1) 使用TensorFlow或PyTorch等深度学习框架训练CNN模型；2) 使用Vitis AI工具链对模型进行量化、剪枝等优化；3) 将优化后的模型编译成FPGA可执行的代码；4) 将代码部署到Xilinx Zynq UltraScale+ MPSoC ZCU104 FPGA评估板上运行；5) 评估模型的性能，包括吞吐量和功耗。

关键创新：该论文的关键创新在于利用Vitis AI工具链，实现了CNN模型在FPGA上的高效部署和加速。与传统的基于HDL的FPGA开发方法相比，Vitis AI提供了更高级别的抽象，简化了开发流程，并提高了开发效率。此外，论文还针对CIFAR-10数据集的特点，对模型进行了优化，以进一步提高性能。

关键设计：论文中使用的CNN模型结构未知，但Vitis AI工具链支持多种优化技术，例如量化（将浮点数转换为定点数）、剪枝（移除不重要的连接）和算子融合（将多个算子合并成一个）。这些技术可以显著减少模型的计算量和存储空间，从而提高FPGA的性能。具体的参数设置和网络结构等技术细节在论文中未详细描述，属于Vitis AI工具链的内部实现。

📊 实验亮点

实验结果表明，使用Vitis AI在Xilinx Zynq UltraScale+ MPSoC ZCU104 FPGA评估板上加速CNN，与CPU和GPU基线相比，吞吐量提高了3.33-5.82倍，能效提高了3.39-6.30倍。这些数据表明，FPGA在加速深度学习应用方面具有显著的优势。

🎯 应用场景

该研究成果可应用于各种需要实时图像分类的嵌入式系统，例如智能监控、自动驾驶、机器人视觉、工业检测等。通过在FPGA上加速CNN，可以实现更高的性能和更低的功耗，从而满足这些应用的需求。未来，该技术还可以扩展到其他类型的深度学习模型和应用场景。

📄 摘要（原文）

In recent years, Convolutional Neural Networks (CNNs) have been widely adopted in computer vision. Complex CNN architecture running on CPU or GPU has either insufficient throughput or prohibitive power consumption. Hence, there is a need to have dedicated hardware to accelerate the computation workload to solve these limitations. In this paper, we accelerate a CNN for image classification with the CIFAR-10 dataset using Vitis-AI on Xilinx Zynq UltraScale+ MPSoC ZCU104 FPGA evaluation board. The work achieves 3.33-5.82x higher throughput and 3.39-6.30x higher energy efficiency than CPU and GPU baselines. It shows the potential to extract 2D features for downstream tasks, such as depth estimation and 3D reconstruction.