Resample or Reroute? Budget-Aware Test-Time Model Selection for Large Language Models
作者: Teng-Ruei Chen
分类: cs.LG
发布日期: 2026-07-09
备注: 10 pages, 3 figures. Code: github.com/luka-krixvon/resample-or-reroute-experiment. Companion analysis: arXiv:2607.03436
💡 一句话要点
提出预算感知的测试时间模型选择以优化大语言模型的响应质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 预算感知 模型选择 重采样 重新路由 响应质量 成本优化
📋 核心要点
- 现有方法在大语言模型的路由选择中存在响应质量与服务成本之间的矛盾，且未能充分利用重采样与重新路由的潜力。
- 本文提出了一种预算感知的测试时间模型选择方法，通过在重采样与重新路由之间分配预算，以最大化预期的正确性。
- 实验结果显示，RoR策略在多种基准测试中相较于单路由、最佳K选择等方法表现出显著的成本-质量优势，尤其在异质性较大的基准上效果最佳。
📝 摘要（中文）
在大语言模型（LLMs）中，路由选择在响应质量与服务成本之间进行权衡。现有的研究表明，测试时间重采样可以恢复单一路由器无法捕捉的选择空间，但这一保证仅在理想化的情况下成立。本文首次将重采样和重新路由视为在每个查询成本预算下的竞争性使用，提出了一种预算感知的测试时间模型选择方法。该方法通过估计每单位成本的边际正确性来分配预算，以最大化预期的正确性。实验结果表明，所提出的在线重采样或重新路由（RoR）策略在多个基准测试中相较于现有方法表现出更优的成本-质量平衡。
🔬 方法详解
问题定义：本文旨在解决在大语言模型中，如何在有限的每查询成本预算下有效选择模型的问题。现有方法未能充分考虑重采样与重新路由的竞争性使用，导致响应质量未能优化。
核心思路：提出了一种预算感知的测试时间模型选择策略，通过动态分配预算于重采样和重新路由，以最大化预期的正确性。这一方法考虑了选择与采样之间的可恢复性不对称性。
技术框架：整体架构包括一个在线RoR分配策略，该策略基于每单位成本的边际正确性进行预算分配。主要模块包括预算分配、模型选择和性能评估。
关键创新：最重要的创新在于将重采样与重新路由视为在每查询成本预算下的竞争性选择，首次提出了预算感知的模型选择框架，突破了传统方法的局限。
关键设计：在参数设置上，采用了基于边际正确性的动态预算分配策略，损失函数设计考虑了模型的响应质量与成本之间的权衡，确保了在不同条件下的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的RoR策略在多个基准测试中相较于单路由、最佳K选择等方法达到了更优的成本-质量平衡，尤其在异质性较大的基准上，性能提升显著，展示了该方法的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括智能客服、自动问答系统以及其他需要高效响应的大语言模型应用场景。通过优化模型选择策略，可以显著提升系统的响应质量与用户满意度，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Routing among large language models (LLMs) trades response quality against serving cost, motivated by the reported gap between deployed routers and a per-instance oracle. Recent analysis shows that test-time resampling can recover per-instance selection headroom that no single-commit router captures; however, that guarantee holds only under an idealized oracle equipped with correctness labels and an unconstrained budget, neither of which a deployed system has. To the best of our knowledge, no previous work treats resampling the committed model and rerouting to an alternative model as competing uses of a single per-query cost budget. Therefore, this work formulates budget-aware test-time model selection: given a per-query budget and an imperfect verifier, allocate each unit of budget between resampling and rerouting so that expected correctness is maximized. An online resample-or-reroute (RoR) allocation policy driven by estimated marginal correctness per unit cost is proposed, and its behavior is grounded in the recoverability asymmetry between selection and sampling. Replay experiments on newly regenerated multi-draw correctness tensors from an eleven-model open-weight pool over four benchmarks of differing difficulty show that the proposed RoR policy attains a favorable cost-quality Pareto front relative to single-route, one-commit-router, budget-aware best-of-K, cascade, and random-allocation baselines for the tested pools, with the largest gains on the most heterogeneous benchmark; an ablation further shows the gains are verifier-gated, shrinking as verifier quality degrades, and robustness replays under a provider price vector and a label-free agreement verifier delineate where the conclusions carry over.