LLM-Aided Compilation for Tensor Accelerators
作者: Charles Hong, Sahil Bhatia, Altan Haan, Shengjun Kris Dong, Dima Nikiforov, Alvin Cheung, Yakun Sophia Shao
分类: cs.AR, cs.LG, cs.PL
发布日期: 2024-08-06
备注: 4 page workshop paper
💡 一句话要点
利用LLM辅助张量加速器编译，提升硬件设计灵活性与性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 硬件加速器 编译优化 张量处理 代码翻译
📋 核心要点
- 现有硬件加速器软件基础设施不足，限制了其在深度学习之外领域的应用。
- 提出利用大型语言模型（LLM）辅助编译，实现应用和硬件层面的快速适配与优化。
- 实验证明GPT-4在代码翻译方面表现出色，并提出了可行的两阶段优化工作流程。
📝 摘要（中文）
硬件加速器，特别是张量处理加速器，在许多领域具有应用潜力。然而，它们目前缺乏支持深度学习之外领域所需的软件基础设施。此外，一个能够轻松更新以反映应用和硬件层面变化的编译器，将促进加速器的敏捷开发和设计空间探索，使硬件设计者能够实现接近最优的性能。本文探讨了如何利用大型语言模型（LLM）来构建这样的编译器。具体而言，我们展示了GPT-4在将代码翻译到Gemmini加速器方面的高通过率，并设计了一种将翻译分解为更小、更适合LLM处理的步骤的技术原型。此外，我们提出了一种利用LLM生成硬件优化代码的两阶段工作流程。
🔬 方法详解
问题定义：当前硬件加速器，尤其是张量加速器，在深度学习之外的领域应用受限，主要原因是缺乏灵活的软件编译基础设施。现有的编译器难以快速适应硬件和应用的变化，阻碍了硬件设计者探索更优的设计空间，无法充分发挥硬件的性能潜力。
核心思路：利用大型语言模型（LLM）强大的代码理解和生成能力，构建一个能够自动将高级代码翻译成针对特定硬件加速器优化代码的编译器。通过LLM的辅助，降低编译器的开发和维护成本，并提高其适应性和优化能力。
技术框架：论文提出了一个两阶段的工作流程。第一阶段，利用LLM将高级代码翻译成中间表示（IR），该IR更接近目标硬件的指令集。第二阶段，利用LLM对中间表示进行优化，生成最终的硬件加速器可执行代码。为了更好地利用LLM，论文还提出将复杂的翻译任务分解为更小的、LLM更容易处理的子任务。
关键创新：该方法的核心创新在于将LLM引入到硬件加速器的编译流程中。与传统的编译器设计方法相比，利用LLM可以显著降低编译器的开发难度，并提高其适应性和优化能力。通过分解翻译任务，可以更好地利用LLM的优势，提高翻译的准确性和效率。
关键设计：论文原型验证使用了GPT-4作为LLM。在分解翻译任务时，需要仔细设计子任务的粒度，以平衡LLM的处理能力和翻译的效率。两阶段工作流程的设计旨在将翻译和优化解耦，使得可以针对不同的硬件加速器进行定制化的优化。
🖼️ 关键图片
📊 实验亮点
论文展示了GPT-4在将代码翻译到Gemmini加速器方面的高通过率，验证了LLM在硬件编译领域的潜力。提出的两阶段工作流程和任务分解方法，为利用LLM进行硬件优化提供了可行的方案。虽然具体的性能数据未在摘要中给出，但该研究为未来的硬件加速器编译优化方向提供了新的思路。
🎯 应用场景
该研究成果可应用于各种张量加速器的编译优化，尤其是在深度学习之外的科学计算、图像处理等领域。通过LLM辅助编译，可以加速硬件加速器的开发和部署，降低开发成本，并提高硬件的利用率和性能。未来，该方法有望推动硬件加速器在更广泛领域的应用。
📄 摘要（原文）
Hardware accelerators, in particular accelerators for tensor processing, have many potential application domains. However, they currently lack the software infrastructure to support the majority of domains outside of deep learning. Furthermore, a compiler that can easily be updated to reflect changes at both application and hardware levels would enable more agile development and design space exploration of accelerators, allowing hardware designers to realize closer-to-optimal performance. In this work, we discuss how large language models (LLMs) could be leveraged to build such a compiler. Specifically, we demonstrate the ability of GPT-4 to achieve high pass rates in translating code to the Gemmini accelerator, and prototype a technique for decomposing translation into smaller, more LLM-friendly steps. Additionally, we propose a 2-phase workflow for utilizing LLMs to generate hardware-optimized code.