Hardware Acceleration of LLMs: A comprehensive survey and comparison

📄 arXiv: 2409.03384v1 📥 PDF

作者: Nikoletta Koilia, Christoforos Kachris

分类: cs.AR, cs.AI

发布日期: 2024-09-05

备注: https://airtable.com/appC2VwR6X4EeZ50s/shrKwchys0iktvDwk

💡 一句话要点

针对LLM硬件加速，提出全面综述与公平技术对比框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 硬件加速 FPGA ASIC 性能评估

📋 核心要点

  1. 现有LLM硬件加速方案在不同工艺技术下实现，难以进行公平的性能和能效对比。
  2. 该论文核心在于提出一种公平的比较框架，通过将不同方案的结果外推到相同工艺技术下进行评估。
  3. 通过在FPGA上实现部分LLM，并将结果外推到相同工艺技术，实现了更实际的性能比较。

📝 摘要（中文）

大型语言模型（LLM）已成为自然语言处理任务的强大工具，它们理解和生成类人文本的能力彻底改变了该领域。本文全面综述了使用硬件加速器加速大型语言模型Transformer网络的多项研究工作。该综述介绍了已提出的框架，并对每个框架的技术、处理平台（FPGA、ASIC、In-Memory、GPU）、加速比、能效、性能（GOPs）和能效（GOPs/W）进行了定性和定量比较。比较的主要挑战在于，每个提出的方案都在不同的工艺技术上实现，这使得公平比较变得困难。本文的主要贡献在于，我们将性能和能效的结果外推到相同的技术上，以进行公平的比较；包括一个理论性的外推和一个更实际的外推。我们在多个FPGA芯片上实现了部分LLM，以将结果外推到相同的工艺技术，然后对性能进行公平的比较。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）硬件加速方案通常在不同的硬件平台和工艺技术上实现，这使得直接比较它们的性能和能效变得非常困难。不同工艺技术的差异会显著影响加速器的速度、功耗和面积，从而导致不公平的评估。因此，需要一种方法来消除工艺技术的影响，以便对不同的加速方案进行更客观的比较。

核心思路：该论文的核心思路是将不同硬件加速方案的性能和能效数据外推到相同的工艺技术节点上。通过这种方式，可以消除工艺技术差异带来的影响，从而实现更公平的比较。论文提出了两种外推方法：一种是理论外推，基于工艺技术的缩放规则进行计算；另一种是更实际的外推，通过在FPGA上实现部分LLM，并将结果外推到目标工艺技术。

技术框架：该论文的技术框架主要包括以下几个步骤：1) 收集现有LLM硬件加速方案的性能和能效数据，包括所使用的硬件平台、工艺技术、加速比、GOPs、GOPs/W等指标。2) 选择一个目标工艺技术节点作为基准。3) 使用理论外推方法或FPGA实现方法，将所有方案的性能和能效数据外推到目标工艺技术节点。4) 对外推后的数据进行比较和分析，评估不同方案的优劣。

关键创新：该论文的关键创新在于提出了一个公平的比较框架，用于评估不同LLM硬件加速方案的性能和能效。该框架通过将数据外推到相同的工艺技术节点，消除了工艺技术差异带来的影响，从而实现了更客观的比较。此外，论文还提出了两种外推方法，包括理论外推和FPGA实现外推，为研究人员提供了不同的选择。

关键设计：论文的关键设计在于外推方法的选择和实现。理论外推方法基于工艺技术的缩放规则，需要仔细考虑不同工艺技术之间的差异。FPGA实现外推方法需要在FPGA上实现部分LLM，并进行性能测量，然后将结果外推到目标工艺技术。这需要选择合适的FPGA平台和LLM模型，并进行仔细的性能优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文通过理论外推和FPGA实现外推两种方法，对多种LLM硬件加速方案在相同工艺技术下进行了性能和能效的公平比较。实验结果展示了不同加速方案的优劣，并为未来的硬件加速器设计提供了有价值的参考。具体性能数据和提升幅度在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于指导LLM硬件加速器的设计和选择。通过公平的性能比较，研究人员和工程师可以更好地了解不同加速方案的优缺点，从而选择最适合特定应用场景的加速器。此外，该研究还可以促进新型LLM硬件加速器的开发，推动LLM在各个领域的应用，例如自然语言处理、机器翻译、语音识别等。

📄 摘要（原文）

Large Language Models (LLMs) have emerged as powerful tools for natural language processing tasks, revolutionizing the field with their ability to understand and generate human-like text. In this paper, we present a comprehensive survey of the several research efforts that have been presented for the acceleration of transformer networks for Large Language Models using hardware accelerators. The survey presents the frameworks that have been proposed and then performs a qualitative and quantitative comparison regarding the technology, the processing platform (FPGA, ASIC, In-Memory, GPU), the speedup, the energy efficiency, the performance (GOPs), and the energy efficiency (GOPs/W) of each framework. The main challenge in comparison is that every proposed scheme is implemented on a different process technology making hard a fair comparison. The main contribution of this paper is that we extrapolate the results of the performance and the energy efficiency on the same technology to make a fair comparison; one theoretical and one more practical. We implement part of the LLMs on several FPGA chips to extrapolate the results to the same process technology and then we make a fair comparison of the performance.