Who Pays for Efficient Inference? Confidence-Based Small-to-Large LLM Routing Across Tasks and Languages
作者: Md Sabbir Hossen, Anichur Rahman, Pabon Shaha, Airin Afroj Aishi, Andrew H. Sung, Md Shohel Rana
分类: cs.CL
发布日期: 2026-10-16
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于置信度的小到大语言模型路由以降低推理成本
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 推理成本 置信度路由 多语言处理 模型评估 任务依赖性 计算资源分配
📋 核心要点
- 现有的小到大语言模型路由方法在多语言任务中置信度的可靠性尚不明确，导致推理成本未能有效降低。
- 本文提出了一种基于置信度的路由方法，通过系统评估不同模型和任务，识别出适合提升的输入示例。
- 实验结果表明，置信度路由在特定任务上显著优于随机路由，提升幅度在1.40至5.63个百分点之间，且能够消除语言间的提升差距。
📝 摘要（中文）
小到大语言模型路由可以通过将复杂输入提升到更大的模型，同时保留简单输入在较小模型上，从而降低推理成本。然而，成功的关键在于识别出哪些示例适合提升，而跨多语言任务的置信度可靠性尚不明确。本文对三种模型家族、四种语言和三种任务类型进行了系统评估，涵盖72种模型、数据集、语言和规模配置以及42,288个预测。我们比较了全局置信度路由与随机路由、等配额置信度路由和一个oracle上限。置信度在Belebele阅读理解和SIB-200主题分类数据集上识别出有益的提升，平均修正检测AUC分别为0.612和0.705。在50%的提升下，相比随机路由，Belebele提高了1.40至4.67个百分点，SIB-200提高了2.54至5.63个百分点。相对而言，MMLU-ProX-Lite知识与推理数据集的平均AUC仅为0.510，路由未能在随机选择上提供一致的改善。全局置信度路由还造成了语言提升差距，最高可达30.33个百分点，而等配额路由则在几乎没有整体准确性损失的情况下消除了这种差异。
🔬 方法详解
问题定义：本文旨在解决小到大语言模型路由在多语言任务中置信度可靠性不足的问题，现有方法未能有效识别适合提升的输入示例，导致推理成本未能降低。
核心思路：提出基于置信度的路由方法，通过系统评估不同模型、语言和任务，识别出哪些输入示例适合提升到更大的模型，从而优化推理过程。
技术框架：整体架构包括数据预处理、模型训练与评估、置信度计算和路由决策四个主要模块。首先对输入数据进行预处理，然后训练多种模型并评估其性能，接着计算每个输入的置信度，最后根据置信度进行路由决策。
关键创新：最重要的技术创新在于提出了一种全局置信度路由方法，能够根据输入的复杂性动态调整模型使用，显著提高了推理效率和准确性。与现有的随机路由方法相比，能够更有效地分配计算资源。
关键设计：在参数设置上，采用了多种模型配置和数据集，损失函数设计为适应不同任务类型，网络结构则根据任务需求进行了优化，以确保在多语言环境下的有效性。实验中使用的置信度计算方法经过精心设计，以提高其在不同任务和语言上的适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在Belebele和SIB-200数据集上，基于置信度的路由方法相比随机路由分别提高了1.40至4.67个百分点和2.54至5.63个百分点。在MMLU-ProX-Lite数据集上，平均AUC仅为0.510，未能提供一致的改善，显示出该方法的任务依赖性。
🎯 应用场景
该研究的潜在应用领域包括多语言自然语言处理、智能客服系统和跨语言信息检索等。通过优化推理过程，能够显著降低计算成本，提高系统的响应速度和准确性，未来可能对多语言AI系统的开发产生深远影响。
📄 摘要（原文）
Small-to-large language model routing can reduce inference cost by escalating difficult inputs while retaining easier ones on a smaller model. Its success, however, depends on identifying examples that benefit from escalation, and the reliability of confidence across multilingual tasks remains unclear. We present a systematic evaluation of confidence-based routing across three model families, four languages, and three task types, covering 72 model, dataset, language, and scale configurations and 42,288 predictions. We compare global confidence routing with random routing, equal-quota confidence routing, and an oracle upper bound. Confidence identifies beneficial escalations on the Belebele reading comprehension and SIB-200 topic classification datasets, with mean correction-detection AUCs of 0.612 and 0.705. At 50% escalation, it improves over random routing by 1.40--4.67 percentage points on Belebele and 2.54--5.63 points on SIB-200. In contrast, the mean AUC on the MMLU-ProX-Lite knowledge and reasoning dataset is only 0.510, and routing provides no consistent improvement over random selection because small models often remain highly confident while incorrect. Global confidence routing also creates language escalation gaps up to 30.33 percentage points, whereas equal-quota routing removes this disparity with little aggregate accuracy cost. These results show that confidence routing is task-dependent and can allocate computation unevenly across languages. Code is available at https://github.com/sabbir5622r/multilingual-llm-routing