Rethinking Quality in Large Language Model Routing: Security-Conditioned Model-and-Budget Selection

📄 arXiv: 2610.18566v1 📥 PDF

作者: Yichi Zhang, Zhenxiang Huang, Yuyang Zhang, Yuchen Yang

分类: cs.AI, cs.CR

发布日期: 2026-10-13

💡 一句话要点

提出SCRouter以解决大语言模型路由中的安全性与效用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 路由器 安全性 效用 模型选择 动态权衡 基准测试 机器学习

📋 核心要点

  1. 现有的模型路由方法仅依赖单一质量指标，无法有效处理混合工作负载，导致安全性和效用之间的权衡不足。
  2. SCRouter通过学习如何在安全性和效用之间进行权衡，提出了一种新的模型-预算选择机制，能够根据查询类型动态调整策略。
  3. 实验结果表明，SCRouter在内外部查询中均显著提升了性能，基线提升幅度达到13-29分和19-23分。

📝 摘要（中文）

大语言模型（LLM）路由器通过选择调用的模型和为每个查询分配的输出令牌数量来降低服务成本。现有路由器仅使用单一质量指标来排名模型-预算动作，这在混合工作负载中效果不佳。对于普通查询，良好的答案是正确且有用的；而对于安全敏感的查询，良好的答案则是拒绝有害请求或抵御恶意指令。本文提出SCRouter，一个能够学习何时优先考虑安全性以及如何分配令牌预算的路由器。SCRouter通过估计响应在预算内完成的概率，分别预测效用和安全性，并通过加权这两个预测来选择模型和预算。SCRouterBench基准测试包含38,869个查询，展示了SCRouter在多个维度上的有效性。

🔬 方法详解

问题定义：本文旨在解决大语言模型路由中安全性与效用之间的权衡问题。现有方法仅依赖单一质量指标，无法满足混合工作负载的需求，导致在安全敏感查询中表现不佳。

核心思路：SCRouter通过学习如何在安全性和效用之间进行动态权衡，提出了一种新的模型-预算选择机制。它通过估计响应在预算内完成的概率，分别预测效用和安全性，从而实现更合理的模型选择。

技术框架：SCRouter的整体架构包括模型-预算对的概率估计模块、效用和安全性预测模块，以及加权决策模块。每个模块协同工作，以优化查询响应的质量和安全性。

关键创新：SCRouter的主要创新在于其动态加权机制，能够根据具体查询类型调整效用和安全性预测的权重。这一设计使得SCRouter在处理安全敏感查询时表现优于传统方法。

关键设计：SCRouter使用小型探测器来确定如何加权效用和安全性预测，并在此基础上选择模型和预算。关键参数包括模型选择的多样性、预算分配策略以及损失函数的设计。通过这些设计，SCRouter能够在多种查询场景中实现优异的性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

SCRouter在内外部查询中均显著提升了性能，具体表现为在内域查询中提升了13-29分，在外域查询中提升了19-23分。这些结果表明SCRouter在处理安全敏感和普通查询时均具备更高的效用和安全性，优于现有基线方法。

🎯 应用场景

SCRouter的研究成果在多个领域具有广泛的应用潜力，尤其是在需要处理安全敏感信息的自然语言处理任务中。其动态路由机制能够有效提升大语言模型在实际应用中的安全性和效用，适用于金融、医疗等行业的智能客服和信息检索系统。未来，SCRouter的设计理念也可能推动更多智能系统在安全性与效用之间的平衡。

📄 摘要（原文）

Large language model (LLM) routers reduce serving cost by choosing which model to call and how many output tokens to grant it for each query. Existing routers rank model-budget actions using a single quality metric. This does not work for mixed workloads. For ordinary queries, a good answer is correct and useful (utility); for security-sensitive queries, a good answer refuses harmful requests or resists malicious instructions (security). These two objectives prefer different models and budgets. We propose SCRouter, a router that learns when to prioritize security and how to allocate the token budget. For each model-budget pair, it estimates the probability that the response finishes within budget. It uses this probability to predict utility and security separately. A small probe determines how to weight these two predictions for each query. SCRouter then selects the model and budget by balancing the weighted utility and security against cost. We also build SCRouterBench, a benchmark of 38,869 utility and security queries spanning nine security dimensions, each answered under all 144 combinations of 12 models and 12 budgets, plus 2,753 out-of-domain queries. SCRouter improves the baselines by 13-29 points in-domain and 19-23 points out-of-domain.