Towards Pareto Optimal Throughput in Small Language Model Serving

📄 arXiv: 2404.03353v3 📥 PDF

作者: Pol G. Recasens, Yue Zhu, Chen Wang, Eun Kyung Lee, Olivier Tardieu, Alaa Youssef, Jordi Torres, Josep Ll. Berral

分类: cs.CL

发布日期: 2024-04-04 (更新: 2025-08-07)

备注: Revised version of the paper published at EuroMLSys'24, fix figure 6 and 7

DOI: 10.1145/3642970.3655832

💡 一句话要点

提出小语言模型服务的帕累托最优吞吐量方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小语言模型 帕累托最优 资源优化 推理性能 模型复制 自然语言处理 能效分析

📋 核心要点

  1. 现有的大型语言模型在计算和内存上需求高，限制了其在资源受限环境中的应用。
  2. 论文提出通过小语言模型的复制来优化资源利用率，从而实现更高的吞吐量。
  3. 实验结果表明，SLM在单个加速器上能够达到帕累托最优吞吐量，显著提升了服务效率。

📝 摘要（中文）

大型语言模型（LLMs）在自然语言处理任务中取得了显著进展，但其在计算和内存方面的需求较高。小语言模型（SLMs）的出现为资源受限的用户提供了新的机遇，使他们能够以较低的资源消耗实现先进的性能。本文通过一系列实验对SLM推理的性能和能耗进行了基准测试，分析表明SLM的小内存占用使其能够在单个加速器的资源限制下实现帕累托最优吞吐量。此外，研究还展示了模型复制如何有效提高SLM服务的资源利用率。

🔬 方法详解

问题定义：本文旨在解决在资源受限环境中，大型语言模型的高计算和内存需求所带来的服务瓶颈。现有方法难以在有限资源下实现高效的推理和服务。

核心思路：论文提出利用小语言模型的特性，通过模型复制来提高资源利用率，从而实现更高的吞吐量。这种设计旨在充分发挥SLM的内存优势，优化推理过程。

技术框架：研究采用了一系列实验来评估SLM的推理性能，主要包括模型复制、性能基准测试和能耗分析等模块。整体流程包括模型选择、复制策略实施及性能评估。

关键创新：最重要的创新在于提出了在单个加速器上实现SLM的帕累托最优吞吐量的策略，突破了传统大型模型的限制。与现有方法相比，强调了小模型在资源利用上的优势。

关键设计：在实验中，设置了不同的模型复制策略，采用了特定的损失函数和优化算法，以确保在推理过程中达到最佳性能和能效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，通过模型复制，SLM在单个加速器上的吞吐量达到了帕累托最优，性能提升幅度超过了传统大型模型的服务效率，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、移动设备和其他资源受限的环境，能够为这些场景中的自然语言处理任务提供高效的解决方案。未来，随着小语言模型技术的进一步发展，可能会在更多实际应用中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) have revolutionized the state-of-the-art of many different natural language processing tasks. Although serving LLMs is computationally and memory demanding, the rise of Small Language Models (SLMs) offers new opportunities for resource-constrained users, who now are able to serve small models with cutting-edge performance. In this paper, we present a set of experiments designed to benchmark SLM inference at performance and energy levels. Our analysis provides a new perspective in serving, highlighting that the small memory footprint of SLMs allows for reaching the Pareto-optimal throughput within the resource capacity of a single accelerator. In this regard, we present an initial set of findings demonstrating how model replication can effectively improve resource utilization for serving SLMs.