TokenRouter: Efficient Serving System for Token-Level LLM Routing
作者: Tianyu Fu, Tengxuan Liu, Ruoxi Wang, Yixin Dong, Yi Ge, Yichen You, Yu Wang
分类: cs.CL
发布日期: 2026-10-08
备注: Accepted by NeurIPS 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出TokenRouter以解决高效的Token级LLM路由问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 Token级路由 推理效率 请求中心编程 模型中心执行 延迟批处理 系统优化
📋 核心要点
- 现有的LLM路由系统在Token级路由下面临步骤不同步和批量接纳延迟等挑战，导致效率低下。
- TokenRouter通过请求中心编程和模型中心执行的设计，简化了开发过程并提高了系统的吞吐量。
- 实验结果显示，TokenRouter在多种路由算法和模型对比下，解码吞吐量提升了2.01-64.15倍，显著优于现有系统。
📝 摘要（中文）
大语言模型（LLM）路由通过在不同模型间分配推理工作，推动了LLM服务的成本-质量帕累托前沿。尽管现有系统广泛采用会话或查询级的粗粒度路由，但最近的算法研究表明，细粒度的Token级路由可以带来显著的效率和质量提升。然而，现有系统在Token级路由下面临严重的步骤不同步和频繁的批量接纳延迟，且对开发者的实现复杂度要求较高。为了解决这些挑战，本文设计了TokenRouter，一个高效且开发者友好的Token级路由LLM推理服务系统。TokenRouter遵循请求中心编程和模型中心执行的原则，开发者从单个请求的角度描述路由逻辑，而运行时为每个LLM启动子服务器并异步调度请求。通过多种路由算法、工作负载和模型对比，TokenRouter的解码吞吐量比现有系统高出2.01-64.15倍，显著提升了Token级LLM路由的服务效率。
🔬 方法详解
问题定义：本文旨在解决现有LLM路由系统在Token级路由下的效率问题，现有方法在步骤不同步和批量接纳延迟上存在显著不足，增加了开发者的实现复杂度。
核心思路：TokenRouter的核心思路是请求中心编程与模型中心执行相结合，允许开发者从单个请求的角度描述路由逻辑，同时运行时为每个LLM启动子服务器并异步处理请求，从而提高系统的整体效率。
技术框架：TokenRouter的整体架构包括请求调度模块、子服务器管理模块和延迟批处理调度器。请求调度模块负责接收和分发请求，子服务器管理模块负责管理每个LLM的子服务器，而延迟批处理调度器则根据系统的数学吞吐量模型优化超参数。
关键创新：TokenRouter的主要创新在于其延迟批处理调度器的设计，通过数学模型优化超参数，显著提高了Token级路由的解码吞吐量。这一设计与现有方法的同步处理模式形成了鲜明对比。
关键设计：在关键设计方面，TokenRouter采用了延迟批处理策略，优化了请求的接纳和处理流程。此外，系统的超参数设置基于数学模型，确保了在不同工作负载下的高效运行。通过这些设计，TokenRouter能够在多种场景下实现高吞吐量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TokenRouter在多种路由算法和模型对比下，解码吞吐量提升了2.01-64.15倍，显著优于现有系统。这一提升不仅展示了TokenRouter的高效性，也为Token级LLM路由的实际应用提供了强有力的支持。
🎯 应用场景
TokenRouter的研究成果具有广泛的应用潜力，特别是在需要高效推理的自然语言处理任务中，如对话系统、文本生成和机器翻译等领域。其高效的Token级路由能力可以显著提升这些应用的响应速度和处理能力，满足日益增长的实时性需求。未来，该系统的设计理念和技术框架也可能被应用于其他类型的模型服务中，推动更广泛的AI应用发展。
📄 摘要（原文）
Large language model (LLM) routing distributes inference work across different models, advancing the cost-quality Pareto frontier of LLM serving. While coarse-grained routing at the session or query level has been widely adopted in production systems, recent algorithmic work shows that fine-grained token-level routing can yield substantial efficiency and quality gains. However, efficiently serving token-level routed inference poses significant challenges to existing systems. Built on single-LLM assumptions, current systems suffer from severe step desynchronization and frequent batch admission delays under token-level routing, and they also impose high implementation complexity on developers. To address these challenges, we design TokenRouter, an efficient and developer-friendly serving system for token-level routed LLM inference. TokenRouter follows the principle of request-centric programming, model-centric execution: developers describe routing logic from the perspective of a single request, while the runtime launches a subserver for each LLM and dispatches requests asynchronously. Each subserver employs a delayed-batching scheduler, whose optimal hyperparameters are derived from a mathematical throughput model of the system. Across diverse routing algorithms, workloads, and model pairs, TokenRouter achieves 2.01-64.15x higher decoding throughput than existing systems, substantially advancing the serving efficiency of token-level LLM routing. Our code is available at https://github.com/thu-nics/TokenRouter.