Chance-Constrained Personalized LLM Routing with Online Preference Learning
作者: Ameya Anjarlekar, Rasoul Etesami, R Srikant
分类: cs.LG, stat.AP
发布日期: 2026-10-15
备注: 18 pages, 8 figures, 1 table
💡 一句话要点
提出个性化LLM路由的机会约束算法以解决用户偏好未知问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 个性化路由 上下文赌博机 用户偏好学习 模型选择 推理成本优化
📋 核心要点
- 核心问题：现有的模型路由方法在用户偏好未知的情况下，难以有效平衡推理成本与响应质量。
- 方法要点：论文提出了一种受约束的上下文赌博机模型，通过在线学习用户偏好来优化模型选择过程。
- 实验或效果：在实验中，算法实现了相对于最优策略的次线性成本遗憾，并保证了高概率的用户满意度。
📝 摘要（中文）
本研究探讨了个性化LLM路由问题，其中路由器在不同成本和能力的异构模型中进行选择。路由器需在确保响应质量可靠的同时，最小化累积推理成本，尽管用户偏好未知且需在部署过程中通过反馈学习。我们将此问题形式化为受约束的上下文赌博机，并开发了一种算法，在平衡成本和质量的同时学习偏好。在逻辑偏好模型和严格可行性条件下，我们建立了相对于最优静态随机上下文预言机的次线性期望成本遗憾，并对实现的累积满意度提供了高概率保证。该框架不仅限于LLM路由，还扩展到更广泛的具有可靠性要求的在线模型选择问题。
🔬 方法详解
问题定义：本论文旨在解决个性化LLM路由中的用户偏好未知问题，现有方法在此情况下难以有效平衡推理成本与响应质量，导致用户体验不佳。
核心思路：论文提出了一种新的算法框架，将个性化LLM路由问题形式化为受约束的上下文赌博机，通过在线学习用户偏好来动态调整模型选择，以实现成本与质量的平衡。
技术框架：整体架构包括三个主要模块：用户反馈收集模块、偏好学习模块和模型选择模块。用户反馈通过实时交互收集，偏好学习模块利用这些反馈更新用户偏好模型，模型选择模块基于当前偏好和成本进行最优模型选择。
关键创新：论文的主要创新在于将个性化LLM路由问题转化为受约束的上下文赌博机，并在此框架下实现了次线性期望成本遗憾的理论保证，显著提升了模型选择的效率和可靠性。
关键设计：算法设计中采用了逻辑偏好模型，并在严格可行性条件下进行优化。关键参数设置包括学习率、反馈权重等，损失函数则结合了成本和满意度的权衡。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的算法在多个基准数据集上相较于传统方法实现了次线性成本遗憾，且在用户满意度上提供了高概率保证，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能客服、个性化推荐系统以及其他需要动态模型选择的在线服务。通过优化模型路由，可以显著提升用户体验和系统效率，具有广泛的实际价值和未来影响。
📄 摘要（原文）
We study personalized LLM routing, where a router selects among heterogeneous models with different costs and capabilities. The router must minimize cumulative inference cost while ensuring reliable realized response quality, even though user preferences are unknown and must be learned from feedback during deployment. We formulate this problem as a constrained contextual bandit and develop an algorithm that learns preferences while balancing cost and quality. Under a logistic preference model and a strict-feasibility condition, we establish sublinear expected cost regret relative to an optimal stationary randomized contextual oracle and a high-probability guarantee on realized cumulative satisfaction. The framework extends beyond LLM routing to broader online model-selection problems with reliability requirements.