Token Level Routing Inference System for Edge Devices
作者: Jianshu She, Wenhao Zheng, Zhengzhong Liu, Hongyi Wang, Eric Xing, Huaxiu Yao, Qirong Ho
分类: cs.CL, cs.DC
发布日期: 2025-04-10
备注: 6 pages, 8 figures, under review of ACL system demo
💡 一句话要点
提出边缘设备Token级路由推理系统，提升小模型性能并降低资源消耗。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 边缘计算 大型语言模型 协作解码 推理加速 Token路由
📋 核心要点
- 大型语言模型推理计算复杂度高，难以在边缘设备上高效部署；小型语言模型虽然速度快，但质量和可靠性不足。
- 提出一种协作解码推理系统，让小型模型在边缘设备上推理，并选择性地利用云端大型模型生成关键token。
- 实验表明，该系统在M1 MacBook上使用0.5B模型，在CommonsenseQA上实现了60%的性能提升，仅需少量token上传。
📝 摘要（中文）
大型语言模型（LLM）的推理计算复杂度严重限制了它们在边缘设备上的部署效率。相比之下，小型语言模型虽然解码速度更快、资源消耗更低，但通常存在响应质量下降和更容易产生幻觉的问题。为了解决这种权衡，协作解码应运而生，即大型模型协助生成关键token。这种模式通过选择性地介入大型模型，利用了两种模型的优势，从而在保持小型模型速度和效率的同时，实现高质量的推理。本文提出了一种新颖的协作解码推理系统，该系统允许小型模型在设备上执行推理，同时选择性地咨询云端的大型模型以生成关键token。值得注意的是，该系统仅使用M1 MacBook上的0.5B模型，在CommonsenseQA上实现了60%的性能提升，且只有不到7%的token生成上传到云端的大型模型。
🔬 方法详解
问题定义：现有的大型语言模型计算复杂度高，难以在边缘设备上部署。小型语言模型虽然可以在边缘设备上运行，但其生成文本的质量和可靠性较低，容易产生幻觉。因此，如何在边缘设备上实现高质量、低延迟的语言模型推理是一个关键问题。
核心思路：该论文的核心思路是利用协作解码，即让小型模型在边缘设备上进行主要的推理工作，但在关键token的生成上，咨询云端的大型模型。这样既能保证推理速度和资源消耗，又能提高生成文本的质量。
技术框架：该系统包含两个主要部分：边缘设备上的小型模型和云端的大型模型。小型模型负责大部分token的生成，当其认为需要时，会将当前上下文发送到云端的大型模型。大型模型根据上下文生成一个或多个token，并将这些token返回给小型模型。小型模型再基于这些token继续生成后续的token。
关键创新：该论文的关键创新在于token级别的路由机制，即系统能够智能地判断哪些token需要由大型模型生成，哪些token可以由小型模型生成。这种选择性的介入方式，最大限度地利用了大型模型的优势，同时避免了不必要的计算开销。
关键设计：具体的token选择策略（token routing policy）是该系统的关键设计。论文中可能使用了某种置信度或不确定性度量来判断是否需要将token生成任务路由到大型模型。此外，云端大型模型的选择和部署，以及边缘设备和云端之间的通信协议，也是重要的技术细节。具体的损失函数和网络结构细节未知。
🖼️ 关键图片
📊 实验亮点
该系统在CommonsenseQA数据集上进行了实验，结果表明，仅使用M1 MacBook上的0.5B模型，就实现了60%的性能提升。更重要的是，只有不到7%的token生成需要上传到云端的大型模型，这表明该系统在保证性能的同时，显著降低了网络带宽和计算资源的需求。
🎯 应用场景
该研究成果可应用于各种需要低延迟、低功耗的自然语言处理任务，例如智能助手、机器翻译、文本摘要等。特别是在资源受限的边缘设备上，如移动设备、物联网设备等，该系统能够显著提升语言模型的性能和用户体验。未来，该技术有望推动大型语言模型在边缘计算领域的广泛应用。
📄 摘要（原文）
The computational complexity of large language model (LLM) inference significantly constrains their deployment efficiency on edge devices. In contrast, small language models offer faster decoding and lower resource consumption but often suffer from degraded response quality and heightened susceptibility to hallucinations. To address this trade-off, collaborative decoding, in which a large model assists in generating critical tokens, has emerged as a promising solution. This paradigm leverages the strengths of both model types by enabling high-quality inference through selective intervention of the large model, while maintaining the speed and efficiency of the smaller model. In this work, we present a novel collaborative decoding inference system that allows small models to perform on-device inference while selectively consulting a cloud-based large model for critical token generation. Remarkably, the system achieves a 60% performance gain on CommonsenseQA using only a 0.5B model on an M1 MacBook, with under 7% of tokens generation uploaded to the large model in the cloud.