Predictable performance is suboptimal, and what it means for model routing

📄 arXiv: 2610.31428v1 📥 PDF

作者: Guanhua Zhang, Moritz Hardt

分类: cs.LG, cs.AI

发布日期: 2026-10-22

💡 一句话要点

提出性能预测模型以优化语言模型路由

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 模型路由 性能预测 自信度 微调 双模型级联 自然语言处理

📋 核心要点

  1. 现有的模型路由方法依赖于性能预测，但在候选模型表现不佳时，预测的有效性受到限制。
  2. 论文提出了一种基于模型自信度的性能预测方法，通过重新校准提升模型的损失表现。
  3. 实验结果显示，性能预测器在次优模型上表现更佳，且在微调后优势逐渐减小。

📝 摘要（中文）

大型语言模型（LLMs）在能力和成本上存在差异，这促使了自适应选择模型的路由方法。这些方法依赖于性能预测：根据查询估计模型是否能正确回答。我们的研究表明，性能预测仅在候选模型在任务上表现不佳或性能预测器相对于候选模型增加了显著容量时，才优于简单基线。我们以模型自信度为基线，研究性能预测器的改进潜力。首先，任何超越模型自信度的性能预测器都能通过重新校准改善模型损失。其次，考虑到预测器的额外参数，我们将其优势界定为模型的次优性加上这些参数的增益。最后，我们将理论结果扩展到双模型级联，路由查询至更强大的模型。实验表明，预测器在更次优模型上获得更大优势，而这种优势在微调后减小。

🔬 方法详解

问题定义：本论文旨在解决现有模型路由方法中性能预测的局限性，特别是在候选模型表现不佳时，如何有效选择模型以提高查询的正确率。

核心思路：论文提出通过模型自信度作为基线，研究性能预测器如何在此基础上进行改进，从而提升模型的整体表现。

技术框架：整体架构包括性能预测器和模型自信度的比较，首先评估模型自信度，然后通过性能预测器进行校准，最终选择最佳模型进行查询响应。

关键创新：最重要的创新在于提出了性能预测器的优势可以通过重新校准直接转移到模型损失上，并且明确了预测器的优势与模型的次优性和额外参数之间的关系。

关键设计：在设计中，考虑了性能预测器的额外参数对模型选择的影响，并通过理论分析界定了其在不同情况下的优势界限。

📊 实验亮点

实验结果显示，在16个语言模型的测试中，性能预测器在次优模型上相较于自信度路由获得了更大的优势，具体提升幅度在微调后逐渐减小。这表明性能预测器的有效性与模型的次优性密切相关。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的智能问答系统、对话系统以及其他需要动态选择模型的场景。通过优化模型路由，可以显著提高系统的响应准确性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) differ in capabilities and costs, motivating routing methods that adaptively choose a model for each query. These methods rely on performance prediction: given a query, estimate whether a model will answer it correctly. Most routing methods train separate predictors of candidate models' performance to guide model selection. Our work shows that performance prediction only beats a simple baseline when the candidate model is suboptimal on the task or the performance predictor adds significant capacity relative to the candidate model. Specifically, we take a model's self-confidence, the probability it assigns to its chosen answer, as a baseline and study how much a performance predictor can improve on it. First, we show that any performance predictor that outperforms a model's self-confidence can be used to improve the model's loss: the predictor's advantage transfers exactly in log loss through recalibration. Second, accounting for the predictor's additional parameters, we bound its advantage by the model's suboptimality plus the gain from those parameters. Third, we extend our theoretical results to two-model cascades, which route queries to a more capable model when the first model is predicted to fail. Experiments with 16 language models on four benchmarks show that predictors gain a larger advantage over self-confidence on more suboptimal models. This advantage shrinks as models improve through finetuning. Cascading exhibits the same two patterns: predictor-based routing offers larger gains over confidence-based routing for more suboptimal models, and these gains diminish after finetuning.