SeLMRoute: Probabilistic Semantic Evidence for Large Language Model Routing

📄 arXiv: 2609.34736v1 📥 PDF

作者: Vasilis Perifanis, Nikolaos Pavlidis, Symeon Symeonidis

分类: cs.AI, cs.CL, cs.LG

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出SeLMRoute以优化大语言模型路由问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 路由优化 语义证据 模型选择 自然语言处理 监督学习

📋 核心要点

  1. 现有的LLM路由方法往往依赖于查询嵌入等表示，难以准确捕捉查询的实际需求。
  2. SeLMRoute通过分离语义证据提取与性能学习，利用可解释问题评估查询的推理需求。
  3. 在15个数据集上，SeLMRoute的平均准确率达到72.08%，相比于固定候选模型有显著提升。

📝 摘要（中文）

大语言模型（LLM）路由旨在为每个输入查询选择最合适的模型。现有方法通常直接从查询嵌入、模型表示或偏好数据中学习决策，然而这些表示往往无法准确反映查询的实际需求。本文提出SeLMRoute，一个路由框架，通过将候选模型的语义证据提取与性能学习分离，来优化路由决策。该框架首先通过可解释的问题评估查询的推理需求和外部知识使用情况，生成概率分布的语义状态。随后，轻量级的监督路由器利用该状态估计候选模型的性能，并在此基础上应用路由目标。实验结果表明，SeLMRoute在LLMRouterBench上达到了72.08%的平均准确率，相较于最强固定候选模型的69.23%有显著提升。

🔬 方法详解

问题定义：本文解决的是如何为每个输入查询选择最合适的大语言模型的问题。现有方法通常依赖于查询嵌入等表示，难以准确反映查询的实际需求，导致路由效果不佳。

核心思路：SeLMRoute的核心思路是将候选模型的语义证据提取与性能学习分离。通过评估查询的推理需求和外部知识使用情况，生成概率分布的语义状态，从而更准确地支持路由决策。

技术框架：SeLMRoute的整体架构包括两个主要模块：首先是决策模型，通过可解释的问题评估查询；其次是轻量级的监督路由器，利用生成的语义状态估计候选模型的性能。

关键创新：SeLMRoute的创新在于其将语义证据提取与性能学习分离，使得同一语义状态可以支持多种路由目标，提升了决策的灵活性和准确性。

关键设计：在设计中，使用了可解释的问题集来评估查询的需求，采用概率分布来表示语义状态，并通过轻量级的监督学习方法来估计模型性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在LLMRouterBench的实验中，SeLMRoute达到了72.08%的平均准确率，五折交叉验证的结果为72.64%。相比于最强固定候选模型69.23%的准确率，SeLMRoute展现了显著的性能提升，且在不同模型的性能-成本设置中均有改善。

🎯 应用场景

SeLMRoute的研究成果在多个领域具有潜在应用价值，尤其是在需要高效模型选择的自然语言处理任务中。其灵活的路由决策机制可以帮助提升大语言模型在特定任务中的表现，未来可能推动智能助手、对话系统等应用的发展。

📄 摘要（原文）

Large language model (LLM) routing aims to select the most suitable model for each incoming query. Most existing routers learn this decision directly from query embeddings, model representations, preference data, or clusters of similar examples. Such approaches can be effective, yet the representation used for routing rarely states what a query actually requires. We introduce SeLMRoute, a routing framework that separates the extraction of candidate-independent semantic evidence from the learning of candidate performance and the application of deployment objectives. A decision model first evaluates a set of interpretable questions about the query, such as its reasoning requirements and use of external knowledge, with each judgment retained as a probability distribution. The resulting probabilistic semantic state is used by a lightweight supervised router to estimate candidate model performance. Routing objectives are applied after performance estimation, which allows the same semantic state to support performance-oriented and cost-aware decisions. On the LLMRouterBench (15 datasets, 20 candidate models, 11,481 queries), SeLMRoute achieves an average accuracy of $72.08\% \pm 0.45$, while grouped five-fold out-of-fold evaluation reaches $72.64\%$, compared with $69.23\%$ for the strongest fixed candidate. The representation achieves the highest mean performance among the evaluated semantic, dense, lexical, and domain-level representations. In a separate 13-model performance-cost setting, SeLMRoute improves performance in all five grouped splits, with a mean PerfGain of $2.66\%$. Our code is available at https://github.com/Indigma-Innovations/SeLMRoute.