Routing Should Pay for Itself: Sparse Supervision for Economical LLM Routing
作者: Guannan Lai, Gelin Bian, Hao-Xuan Ma, Jun-Peng Jiang, Long Chen, Jian-Dong Liu, Zhi-Hao Tan, Han-Jia Ye
分类: cs.AI
发布日期: 2026-09-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出SaveRouter以解决LLM路由的经济性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 稀疏监督 路由优化 经济性 模型反馈 服务效率
📋 核心要点
- 现有的LLM路由方法在服务时间效率上取得了一定成就，但在监督成本与节省之间的平衡上存在不足。
- 论文提出的SaveRouter框架通过稀疏监督选择性获取模型反馈，优化了路由的经济性。
- 实验结果表明，SaveRouter在使用较少的训练反馈下，依然能保持竞争力的路由质量，显著降低了部署成本。
📝 摘要（中文）
大语言模型（LLM）路由通过将每个查询分配给合适的模型来降低服务成本，同时保持响应质量。然而，学习这样的路由器通常需要在历史查询上执行多个候选模型，以收集查询-模型质量反馈，这在部署前会产生不小的监督成本。现有研究主要关注服务时间效率，忽视了节省的成本是否足以弥补前期支出。我们提出了SaveRouter，一个稀疏监督路由框架，选择性地获取有信息量的模型反馈，并在相关查询之间共享能力信息，同时保留查询级别的细化以实现精细路由。通过联合考虑监督支出和后续服务时间节省，我们在四个路由基准上评估了路由效果，发现主要设置仅使用约33-41%的可用训练反馈，同时保持竞争力或更好的路由质量，并将与最快的传统路由器相比，降低了约1.9-9.5倍的盈亏平衡部署量。
🔬 方法详解
问题定义：本论文旨在解决大语言模型路由中的经济性问题，现有方法在监督成本与服务节省之间缺乏有效的平衡，导致前期投入难以回收。
核心思路：SaveRouter框架通过稀疏监督策略，选择性地获取有价值的模型反馈，并在相关查询之间共享能力信息，从而实现更高效的路由。
技术框架：SaveRouter的整体架构包括信息选择模块、能力共享模块和查询细化模块。信息选择模块负责从历史查询中筛选出最具信息量的反馈，能力共享模块则在相关查询之间传递模型能力信息，查询细化模块用于实现精细的路由决策。
关键创新：SaveRouter的主要创新在于其稀疏监督策略，显著减少了所需的监督反馈量，同时保持或提升了路由质量。这与现有方法的密集监督形成鲜明对比。
关键设计：在参数设置上，SaveRouter使用了动态调整的反馈选择机制，损失函数设计上考虑了监督成本与服务节省的平衡，网络结构上则采用了模块化设计以便于扩展和优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SaveRouter在使用仅33-41%的训练反馈的情况下，依然能够保持与传统路由器相当或更优的路由质量。同时，SaveRouter将盈亏平衡部署量降低了约1.9-9.5倍，展现出其在经济性上的显著优势。
🎯 应用场景
该研究的潜在应用领域包括大规模在线服务、智能客服系统和多模态交互平台等。通过优化LLM路由的经济性，SaveRouter能够帮助企业降低运营成本，提高服务效率，具有显著的实际价值和未来影响。
📄 摘要（原文）
Large language model (LLM) routing reduces serving cost by assigning each query to an appropriate model while preserving response quality. Learning such a router, however, often requires executing multiple candidate models on historical queries to collect query--model quality feedback, creating a nontrivial supervision cost before deployment. Existing work largely focuses on serving-time efficiency, overlooking whether the resulting savings are sufficient to recover this upfront expenditure. We further observe that routing quality often saturates well before all query--model feedback is collected, suggesting that dense supervision can be economically over-provisioned. We propose SaveRouter, a sparse-supervision routing framework that selectively acquires informative model feedback and shares capability information across related queries, while retaining query-level refinement for fine-grained routing. We evaluate routing by jointly accounting for supervision expenditure and subsequent serving-time savings. Across four routing benchmarks, the main setting uses only about 33--41% of available training feedback while maintaining competitive or better routing quality, and reduces the break-even deployment volume by approximately 1.9--9.5 times compared with the fastest conventional router. Further analysis shows that acquiring more supervision is not always economically preferable: the supervision level that minimizes serving cost can differ from the one that achieves the earliest payback. Our code is publicly available at https://github.com/LAMDA-Model-Reuse/SaveRouter.