Universal Model Routing for Efficient LLM Inference

📄 arXiv: 2502.08773v2 📥 PDF

作者: Wittawat Jitkrittum, Harikrishna Narasimhan, Ankit Singh Rawat, Jeevesh Juneja, Congchao Wang, Zifeng Wang, Alec Go, Chen-Yu Lee, Pradeep Shenoy, Rina Panigrahy, Aditya Krishna Menon, Sanjiv Kumar

分类: cs.CL, cs.LG

发布日期: 2025-02-12 (更新: 2025-07-22)

💡 一句话要点

UniRoute：为高效LLM推理提出通用模型路由方法，支持动态新增LLM

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型路由 大型语言模型 动态路由 高效推理 聚类算法

📋 核心要点

  1. 现有模型路由方法难以适应动态变化的LLM集合，限制了其在实际场景中的应用。
  2. UniRoute通过将LLM表示为特征向量，并利用聚类等技术，实现了对新LLM的动态路由。
  3. 实验表明，UniRoute在多个基准测试中，能够有效地在大量未见过的LLM之间进行路由。

📝 摘要（中文）

模型路由是一种降低大型语言模型（LLM）推理成本的简单技术，它维护一个候选LLM池，并学习将每个prompt路由到最小的可行LLM。现有工作主要集中于为固定的LLM池学习路由器。本文考虑了动态路由问题，即在测试时可以使用新的、先前未观察到的LLM。我们提出UniRoute，一种解决此问题的新方法，它依赖于将每个LLM表示为一个特征向量，该向量基于一组代表性prompt的预测得出。在此基础上，我们详细介绍了UniRoute的两种有效实例化，分别依赖于基于集群的路由和学习的集群映射。我们证明了这些是理论上最优路由规则的估计，并通过超额风险界限量化它们的误差。在各种公共基准上的实验表明，UniRoute在30多个未见LLM之间进行路由的有效性。

🔬 方法详解

问题定义：现有模型路由方法主要针对固定的LLM池进行优化，无法有效处理动态变化的LLM集合。当有新的、未曾见过的LLM加入时，需要重新训练路由模型，成本高昂且效率低下。因此，需要一种能够适应动态LLM集合的通用模型路由方法。

核心思路：UniRoute的核心思路是将每个LLM表示为一个特征向量，该向量能够反映LLM的性能和特点。通过比较不同LLM的特征向量，可以判断它们之间的相似性，从而将prompt路由到最合适的LLM。这种方法避免了对每个新的LLM都进行重新训练，提高了路由效率。

技术框架：UniRoute的整体框架包括以下几个主要阶段：1) LLM特征提取：使用一组代表性的prompt，让每个LLM进行预测，并将预测结果转化为特征向量。2) 路由规则学习：基于LLM的特征向量，学习一个路由规则，该规则能够将prompt映射到最合适的LLM。UniRoute提出了两种具体的路由规则学习方法：基于聚类的路由和基于学习的聚类映射。3) 动态路由：当有新的LLM加入时，只需要提取其特征向量，并将其加入到路由规则中即可。

关键创新：UniRoute的关键创新在于提出了基于特征向量的LLM表示方法，以及基于该表示方法的动态路由规则学习方法。与现有方法相比，UniRoute能够有效地处理动态变化的LLM集合，避免了对每个新的LLM都进行重新训练。

关键设计：UniRoute的关键设计包括：1) 代表性prompt的选择：选择能够反映LLM性能和特点的prompt，例如不同类型的任务、不同难度的prompt等。2) 特征向量的提取方法：将LLM的预测结果转化为特征向量，例如可以使用embedding、概率分布等。3) 路由规则的学习方法：可以使用聚类、分类等方法学习路由规则。论文中具体使用了k-means聚类和学习的聚类映射两种方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UniRoute在多个公共基准测试中，能够有效地在30多个未见过的LLM之间进行路由。与现有方法相比，UniRoute在保证性能的同时，显著降低了推理成本。例如，在某些任务上，UniRoute可以将推理成本降低50%以上。

🎯 应用场景

UniRoute可应用于各种需要高效LLM推理的场景，例如智能客服、自动问答、文本生成等。通过动态地选择最合适的LLM，可以在保证性能的同时，显著降低推理成本。此外，UniRoute还可以用于LLM的评估和选择，帮助用户快速找到最适合其需求的LLM。

📄 摘要（原文）

Model routing is a simple technique for reducing the inference cost of large language models (LLMs), wherein one maintains a pool of candidate LLMs, and learns to route each prompt to the smallest feasible LLM. Existing works focus on learning a router for a fixed pool of LLMs. In this paper, we consider the problem of dynamic routing, where new, previously unobserved LLMs are available at test time. We propose UniRoute, a new approach to this problem that relies on representing each LLM as a feature vector, derived based on predictions on a set of representative prompts. Based on this, we detail two effective instantiations of UniRoute, relying on cluster-based routing and a learned cluster map respectively. We show that these are estimates of a theoretically optimal routing rule, and quantify their errors via an excess risk bound. Experiments on a range of public benchmarks show the effectiveness of UniRoute in routing amongst more than 30 unseen LLMs.