Understanding the Potential of FPGA-Based Spatial Acceleration for Large Language Model Inference

📄 arXiv: 2312.15159v2 📥 PDF

作者: Hongzheng Chen, Jiahao Zhang, Yixiao Du, Shaojie Xiang, Zichao Yue, Niansong Zhang, Yaohui Cai, Zhiru Zhang

分类: cs.LG, cs.AI, cs.AR, cs.CL

发布日期: 2023-12-23 (更新: 2024-04-07)

备注: Accepted for publication in the FCCM'24 Journal Track and will appear in ACM Transactions on Reconfigurable Technology and Systems (TRETS)

DOI: 10.1145/3656177

💡 一句话要点

提出基于FPGA空间加速的大语言模型推理方法，显著提升性能和能效

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: FPGA加速 大语言模型 空间加速 HLS 低延迟推理

📋 核心要点

  1. 现有LLM推理方法依赖时间架构，硬件单元复用导致大量内存访问，成为低延迟瓶颈。
  2. 论文提出模型特定的FPGA空间加速，为不同算子定制硬件单元，数据流架构减少内存访问。
  3. 实验结果表明，该方法在BERT和GPT2上实现了显著的性能提升，并提高了能效。

📝 摘要（中文）

大型语言模型（LLMs）参数规模达到数十亿级别，对其高效推理部署提出了巨大需求。现有方法主要依赖于时间架构，即复用硬件单元处理不同网络层和算子，但由于大量的内存访问开销，这些方法通常难以实现低延迟。本文研究了基于FPGA的模型特定空间加速在LLM推理中的可行性和潜力。该方法为特定算子或层定制不同的硬件单元，通过数据流架构实现它们之间的直接通信，从而最大限度地减少片外内存访问。我们提出了一个全面的分析模型，用于评估空间LLM加速器的性能，同时考虑了FPGA上的片上计算和内存资源。通过分析，我们确定了FPGA空间加速优于GPU的场景。为了更高效地在FPGA上实现LLM模型，我们进一步提供了一个可组合和可重用的高级综合（HLS）内核库，并将开源。为了验证分析模型和HLS库的有效性，我们在AMD Alveo U280 FPGA设备上实现了BERT和GPT2。实验结果表明，与之前的基于FPGA的BERT加速器相比，我们的方法可以实现高达13.4倍的加速。对于GPT生成式推理，在预填充阶段，我们获得了比FPGA overlay DFX快2.2倍的速度，在解码阶段，与NVIDIA A100 GPU相比，速度提高了1.9倍，能效提高了5.7倍。

🔬 方法详解

问题定义：现有的大型语言模型推理方法，特别是基于时间架构的方法，由于需要频繁地在片外存储器中读取和写入数据，导致了显著的延迟和能量消耗。这些方法在不同的网络层和算子之间复用硬件单元，虽然节省了硬件资源，但限制了整体的推理速度。因此，如何降低内存访问开销，提高LLM推理的效率，是一个亟待解决的问题。

核心思路：论文的核心思路是利用FPGA的可重构特性，为LLM中的不同算子或层定制专门的硬件单元，构建一个空间加速架构。通过数据流的方式，这些硬件单元可以直接进行通信，避免了频繁的片外内存访问。这种方法旨在最大化利用FPGA的并行计算能力和片上存储资源，从而实现低延迟和高能效的LLM推理。

技术框架：该论文的技术框架主要包括以下几个部分：首先，提出了一个分析模型，用于评估空间LLM加速器的性能，该模型考虑了FPGA的片上计算和内存资源。其次，开发了一个可组合和可重用的HLS内核库，用于简化LLM模型在FPGA上的实现。最后，在AMD Alveo U280 FPGA设备上实现了BERT和GPT2模型，并进行了实验验证。整体流程是从模型分析到硬件实现，再到实验验证，形成了一个完整的闭环。

关键创新：该论文的关键创新在于提出了基于FPGA的空间加速架构，并将其应用于LLM推理。与传统的基于时间架构的方法相比，该方法通过定制化的硬件单元和数据流架构，显著减少了片外内存访问，提高了推理速度和能效。此外，HLS内核库的开发也降低了FPGA开发的难度，使得更多研究人员可以参与到LLM加速的研究中。

关键设计：论文的关键设计包括：1) 针对LLM中不同算子（如矩阵乘法、激活函数等）设计了专门的HLS内核，并优化了这些内核的性能。2) 采用了数据流架构，使得不同的硬件单元可以直接进行通信，避免了频繁的片外内存访问。3) 开发了一个分析模型，用于评估空间加速器的性能，并指导硬件设计。4) 针对FPGA的片上资源（如BRAM、DSP等）进行了优化，以最大化利用这些资源。

📊 实验亮点

实验结果表明，该方法在BERT模型上实现了高达13.4倍的加速，与之前的FPGA加速器相比。对于GPT生成式推理，在预填充阶段，获得了比FPGA overlay DFX快2.2倍的速度，在解码阶段，与NVIDIA A100 GPU相比，速度提高了1.9倍，能效提高了5.7倍。这些结果验证了该方法在LLM推理加速方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要低延迟、高能效LLM推理的场景，例如边缘计算设备、移动设备和嵌入式系统。通过FPGA加速，可以在资源受限的环境下部署复杂的LLM模型，实现智能语音助手、机器翻译、智能推荐等功能。未来，该技术有望推动LLM在更多领域的应用，例如自动驾驶、智能医疗和工业自动化。

📄 摘要（原文）

Recent advancements in large language models (LLMs) boasting billions of parameters have generated a significant demand for efficient deployment in inference workloads. The majority of existing approaches rely on temporal architectures that reuse hardware units for different network layers and operators. However, these methods often encounter challenges in achieving low latency due to considerable memory access overhead. This paper investigates the feasibility and potential of model-specific spatial acceleration for LLM inference on FPGAs. Our approach involves the specialization of distinct hardware units for specific operators or layers, facilitating direct communication between them through a dataflow architecture while minimizing off-chip memory accesses. We introduce a comprehensive analytical model for estimating the performance of a spatial LLM accelerator, taking into account the on-chip compute and memory resources available on an FPGA. Through our analysis, we can determine the scenarios in which FPGA-based spatial acceleration can outperform its GPU-based counterpart. To enable more productive implementations of an LLM model on FPGAs, we further provide a library of high-level synthesis (HLS) kernels that are composable and reusable. This library will be made available as open-source. To validate the effectiveness of both our analytical model and HLS library, we have implemented BERT and GPT2 on an AMD Alveo U280 FPGA device. Experimental results demonstrate our approach can achieve up to 13.4x speedup when compared to previous FPGA-based accelerators for the BERT model. For GPT generative inference, we attain a 2.2x speedup compared to DFX, an FPGA overlay, in the prefill stage, while achieving a 1.9x speedup and a 5.7x improvement in energy efficiency compared to the NVIDIA A100 GPU in the decode stage.