Resample or Reroute? Budget-Aware Test-Time Model Selection for Large Language Models
作者: Teng-Ruei Chen
分类: cs.LG
发布日期: 2026-07-09 (更新: 2026-07-10)
备注: 10 pages, 3 figures. v2: corrected Phi-4 cost (14.7B) and re-ran all replays; conclusions unchanged. Code: github.com/luka-krixvon/resample-or-reroute-experiment
💡 一句话要点
提出预算感知的测试时模型选择方法以优化大语言模型的响应质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 预算感知 模型选择 重采样 重新路由 在线学习 成本优化
📋 核心要点
- 现有的模型路由方法未能有效利用每个实例的选择潜力，导致响应质量与服务成本之间的矛盾。
- 本文提出了一种预算感知的测试时模型选择方法，通过在线分配预算在重采样与重新路由之间，以最大化期望的正确性。
- 实验结果显示，所提RoR策略在多个基准测试中相较于传统方法表现出更优的成本-质量平衡，尤其在异质性较高的基准上获得显著提升。
📝 摘要（中文）
本文探讨了在大语言模型（LLMs）中，如何在响应质量与服务成本之间进行权衡。现有的路由方法未能充分利用每个实例的选择潜力，且在实际系统中缺乏理想的预算和正确性标签。为此，本文提出了一种预算感知的测试时模型选择方法，旨在在给定的每查询预算和不完美的验证器下，优化重采样与重新路由的预算分配。通过在线的重采样或重新路由（RoR）分配策略，最大化期望的正确性。实验结果表明，RoR策略在多种基准测试中相较于现有方法表现出更优的成本-质量平衡，尤其在异质性较高的基准上获得了显著提升。
🔬 方法详解
问题定义：本文旨在解决在大语言模型中，如何在重采样和重新路由之间有效分配预算的问题。现有方法未能充分利用每个实例的选择潜力，导致响应质量和服务成本之间的矛盾。
核心思路：论文提出了一种预算感知的测试时模型选择方法，利用在线的重采样或重新路由（RoR）分配策略，根据每单位成本的边际正确性进行预算分配，以最大化期望的正确性。
技术框架：整体架构包括预算分配模块、重采样模块和重新路由模块。首先，根据当前的验证器质量评估每个模型的边际正确性，然后在重采样和重新路由之间进行动态预算分配。
关键创新：最重要的技术创新在于将重采样和重新路由视为在单个查询成本预算下的竞争性使用，提出了RoR策略以优化两者的组合，显著提升了响应质量。
关键设计：在设计中，关键参数包括预算分配的策略、验证器的质量评估方法，以及重采样和重新路由的具体实现细节。损失函数的设计考虑了响应质量与服务成本之间的权衡。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提RoR策略在多种基准测试中相较于单路由、单次提交路由器、预算感知的最佳K选择、级联和随机分配等基线方法，达到了更优的成本-质量平衡，尤其在异质性较高的基准上获得了显著提升，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能客服系统、在线问答平台和其他需要实时响应的大语言模型应用。通过优化模型选择策略，可以显著提升用户体验，降低服务成本，具有重要的实际价值和未来影响。
📄 摘要（原文）
Routing among large language models (LLMs) trades response quality against serving cost, motivated by the reported gap between deployed routers and a per-instance oracle. Recent analysis shows that test-time resampling can recover per-instance selection headroom that no single-commit router captures; however, that guarantee holds only under an idealized oracle equipped with correctness labels and an unconstrained budget, neither of which a deployed system has. To the best of our knowledge, no previous work treats resampling the committed model and rerouting to an alternative model as competing uses of a single per-query cost budget. Therefore, this work formulates budget-aware test-time model selection: given a per-query budget and an imperfect verifier, allocate each unit of budget between resampling and rerouting so that expected correctness is maximized. An online resample-or-reroute (RoR) allocation policy driven by estimated marginal correctness per unit cost is proposed, and its behavior is grounded in the recoverability asymmetry between selection and sampling. Replay experiments on newly regenerated multi-draw correctness tensors from an eleven-model open-weight pool over four benchmarks of differing difficulty show that the proposed RoR policy attains a favorable cost-quality Pareto front relative to single-route, one-commit-router, budget-aware best-of-K, cascade, and random-allocation baselines for the tested pools, with the largest gains on the most heterogeneous benchmark; an ablation further shows the gains are verifier-gated, shrinking as verifier quality degrades, and robustness replays under a provider price vector and a label-free agreement verifier delineate where the conclusions carry over.