Edge Intelligence Optimization for Large Language Model Inference with Batching and Quantization
作者: Xinyuan Zhang, Jiang Liu, Zehui Xiong, Yudong Huang, Gaochang Xie, Ran Zhang
分类: cs.LG, cs.AI, cs.NI
发布日期: 2024-05-12
💡 一句话要点
提出面向边缘设备的LLM推理优化方法，通过批处理和量化提升吞吐量。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 边缘智能 大型语言模型 模型量化 批处理 资源分配 推理优化 深度优先搜索
📋 核心要点
- 大型语言模型（LLM）资源需求高，云端部署存在隐私和延迟问题，边缘智能是潜在解决方案。
- 论文提出针对边缘LLM推理的优化方法，结合批处理和量化技术，最大化推理吞吐量。
- 实验结果表明，所提出的DFTSP算法在吞吐量上优于其他批处理方法，并显著降低了时间复杂度。
📝 摘要（中文）
生成式人工智能（GAI）以其无与伦比的内容创作能力席卷全球。大型语言模型（LLM）正处于这场运动的最前沿。然而，LLM的巨大资源需求通常需要云托管，这引发了关于隐私、延迟和使用限制的问题。尽管边缘智能早已被用于通过在靠近数据源的无处不在的边缘资源上实现实时AI计算来解决这些挑战，但大多数研究都集中在传统的AI模型上，并且在解决LLM推理的独特特征方面存在差距，例如相当大的模型大小、自回归过程和自注意力机制。在本文中，我们提出了一个为LLM推理量身定制的边缘智能优化问题。具体来说，通过在资源受限的边缘设备上部署批处理技术和模型量化，我们为基于transformer解码器的LLM制定了一个推理模型。此外，我们的方法旨在通过批调度和通信与计算资源的联合分配来最大化推理吞吐量，同时还考虑了边缘资源约束和延迟和准确性的不同用户需求。为了解决这个NP-hard问题，我们开发了一种最优的深度优先树搜索算法，该算法具有在线树剪枝（DFTSP），可在可行的时间复杂度内运行。仿真结果表明，在不同的用户设置和量化技术中，DFTSP在吞吐量方面超过了其他批处理基准，并且与暴力搜索方法相比，它将时间复杂度降低了45％以上。
🔬 方法详解
问题定义：论文旨在解决在资源受限的边缘设备上高效运行大型语言模型（LLM）推理的问题。现有方法主要集中在传统AI模型，忽略了LLM的特殊性，如模型体积大、自回归特性和自注意力机制。直接在边缘设备上部署LLM会导致高延迟和低吞吐量，无法满足实时应用的需求。
核心思路：论文的核心思路是通过结合批处理（Batching）和模型量化（Quantization）技术，在边缘设备上优化LLM推理。批处理通过将多个请求合并成一个批次来提高计算效率，而模型量化则通过降低模型精度来减少模型大小和计算复杂度。此外，论文还提出了资源分配策略，平衡通信和计算资源，以最大化整体吞吐量。
技术框架：整体框架包含以下几个主要阶段：1) 请求收集：边缘设备收集用户的推理请求。2) 批调度：根据用户需求（延迟、精度）和边缘设备资源状况，将请求组成批次。3) 模型量化：对LLM进行量化，降低模型精度。4) 推理执行：在边缘设备上执行量化后的LLM推理。5) 结果返回：将推理结果返回给用户。核心模块包括批调度器和资源分配器。
关键创新：论文的关键创新在于提出了一个针对边缘LLM推理的优化问题，并设计了一种最优的深度优先树搜索算法（DFTSP）来解决该问题。DFTSP算法能够在可行的时间复杂度内找到最优的批调度和资源分配方案，从而最大化推理吞吐量。与现有方法相比，DFTSP算法能够更好地适应边缘设备的资源约束和用户的不同需求。
关键设计：DFTSP算法采用深度优先搜索策略，并结合在线树剪枝技术，以减少搜索空间。算法的目标是最大化推理吞吐量，同时满足用户对延迟和精度的要求。算法考虑了边缘设备的计算能力、通信带宽和内存容量等资源约束。批调度策略根据请求的优先级、到达时间和资源需求等因素进行决策。模型量化采用混合精度量化方法，在保证精度的前提下，尽可能降低模型大小。
🖼️ 关键图片
📊 实验亮点
仿真结果表明，所提出的DFTSP算法在吞吐量方面优于其他批处理基准。在不同的用户设置和量化技术下，DFTSP算法能够显著提高推理吞吐量。与暴力搜索方法相比，DFTSP算法将时间复杂度降低了45%以上，证明了其高效性。例如，在特定场景下，DFTSP算法可以将吞吐量提升20%-30%。
🎯 应用场景
该研究成果可应用于各种需要低延迟、高吞吐量LLM推理的边缘计算场景，例如智能家居、自动驾驶、工业自动化和移动设备。通过在边缘设备上部署LLM，可以减少对云服务的依赖，提高数据隐私性，并实现更快的响应速度。未来，该技术有望推动LLM在更多实际应用中的普及。
📄 摘要（原文）
Generative Artificial Intelligence (GAI) is taking the world by storm with its unparalleled content creation ability. Large Language Models (LLMs) are at the forefront of this movement. However, the significant resource demands of LLMs often require cloud hosting, which raises issues regarding privacy, latency, and usage limitations. Although edge intelligence has long been utilized to solve these challenges by enabling real-time AI computation on ubiquitous edge resources close to data sources, most research has focused on traditional AI models and has left a gap in addressing the unique characteristics of LLM inference, such as considerable model size, auto-regressive processes, and self-attention mechanisms. In this paper, we present an edge intelligence optimization problem tailored for LLM inference. Specifically, with the deployment of the batching technique and model quantization on resource-limited edge devices, we formulate an inference model for transformer decoder-based LLMs. Furthermore, our approach aims to maximize the inference throughput via batch scheduling and joint allocation of communication and computation resources, while also considering edge resource constraints and varying user requirements of latency and accuracy. To address this NP-hard problem, we develop an optimal Depth-First Tree-Searching algorithm with online tree-Pruning (DFTSP) that operates within a feasible time complexity. Simulation results indicate that DFTSP surpasses other batching benchmarks in throughput across diverse user settings and quantization techniques, and it reduces time complexity by over 45% compared to the brute-force searching method.