Model-Distributed Inference for Large Language Models at the Edge

📄 arXiv: 2505.18164v1 📥 PDF

作者: Davide Macario, Hulya Seferoglu, Erdem Koyuncu

分类: cs.LG, cs.AI

发布日期: 2025-05-13

💡 一句话要点

提出MDI-LLM，实现大语言模型在边缘设备的模型分布式推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 边缘计算 分布式推理 模型分割 流水线并行 低功耗设备 设备协同

📋 核心要点

  1. 现有大语言模型难以在资源受限的边缘设备上直接部署，因为模型规模超过了单个设备的内存容量。
  2. MDI-LLM将模型分割成多个部分，分配到不同边缘设备上，通过设备间通信实现协同推理，突破了单设备内存限制。
  3. 提出的循环流水线并行技术，减少了设备空闲时间，提升了多序列生成时的并行推理效率，从而提高整体吞吐量。

📝 摘要（中文）

本文提出了一种名为模型分布式推理的大语言模型框架（MDI-LLM），旨在促进最先进的大语言模型（LLM）在低功耗边缘设备上的部署。该框架通过将模型划分为多个分区，并将这些分区分配给网络中的不同设备/节点来实现这一点。这些节点通过设备到设备链路交换中间激活向量，从而实现协同计算。为了提高这一过程的效率，我们提出了一种“循环流水线并行”技术，该技术减少了每个设备上的空闲时间，并促进了多个文本序列生成过程中的并行推理。通过利用多个边缘设备的组合计算资源，MDI-LLM能够部署超过单个设备内存容量的LLM，从而可以在低成本硬件上执行推理。此外，随着参与设备数量的增加，MDI-LLM提高了token生成吞吐量并降低了每个设备的内存消耗。

🔬 方法详解

问题定义：现有的大语言模型（LLM）通常参数量巨大，需要大量的计算资源和内存空间，这使得它们难以直接部署在资源受限的边缘设备上。现有的模型压缩和加速技术虽然可以减小模型体积，但往往会牺牲模型精度。因此，如何在边缘设备上高效地部署和运行大型LLM是一个重要的挑战。

核心思路：MDI-LLM的核心思路是将LLM模型分割成多个较小的分区，并将这些分区分配到不同的边缘设备上。每个设备只负责运行模型的一部分，并通过设备间的通信来交换中间激活向量，从而实现协同推理。这种分布式推理的方式可以有效地利用多个边缘设备的计算资源和内存空间，从而突破单设备的资源限制。

技术框架：MDI-LLM的整体框架包括以下几个主要模块：1) 模型分割模块：负责将LLM模型分割成多个分区。2) 设备分配模块：负责将模型分区分配到不同的边缘设备上。3) 通信模块：负责在设备之间传输中间激活向量。4) 推理模块：负责在每个设备上执行模型分区的推理计算。此外，MDI-LLM还采用了“循环流水线并行”技术，以进一步提高推理效率。该技术通过将多个文本序列的生成过程进行流水线化处理，减少了设备空闲时间，并实现了并行推理。

关键创新：MDI-LLM最重要的技术创新点在于其模型分布式推理的架构和循环流水线并行技术。与传统的模型压缩和加速技术不同，MDI-LLM并没有改变模型的结构，而是通过将模型分割成多个部分，并在多个设备上协同运行，从而实现了在资源受限的边缘设备上部署大型LLM的目标。循环流水线并行技术则进一步提高了推理效率，使得MDI-LLM能够实现更高的吞吐量。

关键设计：模型分割策略需要根据边缘设备的计算能力和通信带宽进行调整，以实现最佳的性能。循环流水线并行技术中的流水线深度和批处理大小也需要根据具体的应用场景进行优化。此外，设备间的通信协议也需要进行精心设计，以减少通信延迟和带宽占用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的MDI-LLM框架能够有效地在边缘设备上部署大型LLM，并显著提高token生成吞吐量。实验结果表明，随着参与设备数量的增加，MDI-LLM能够线性地提高token生成吞吐量，并降低每个设备的内存消耗。具体性能数据未知，但整体趋势表明了该方法的可扩展性和有效性。

🎯 应用场景

MDI-LLM适用于各种需要在边缘设备上部署大语言模型的场景，例如智能家居、自动驾驶、工业自动化等。通过将LLM部署在边缘设备上，可以实现更快的响应速度、更低的延迟和更好的隐私保护。此外，MDI-LLM还可以用于构建分布式AI系统，从而实现更强大的计算能力和更高的可靠性。

📄 摘要（原文）

We introduce Model-Distributed Inference for Large-Language Models (MDI-LLM), a novel framework designed to facilitate the deployment of state-of-the-art large-language models (LLMs) across low-power devices at the edge. This is accomplished by dividing the model into multiple partitions, which are then assigned to different devices/nodes within the network. These nodes exchange intermediate activation vectors via device-to-device links, enabling collaborative computation. To enhance the efficiency of this process, we propose the "recurrent pipeline parallelism" technique, which reduces idle time on each device and facilitates parallel inference during the generation of multiple text sequences. By leveraging the combined computational resources of multiple edge devices, MDI-LLM enables the deployment of LLMs that exceed the memory capacity of individual devices, making it possible to perform inference on low-cost hardware. Furthermore, as the number of participating devices increases, MDI-LLM boosts token generation throughput and reduces memory consumption per device.