Privacy-Preserving LLMs Routing

📄 arXiv: 2604.15728v1 📥 PDF

作者: Xidong Wu, Yukuan Zhang, Yuqiong Ji, Reza Shirkavand, Qian Lou, Shangqian Gao

分类: cs.CR, cs.AI

发布日期: 2026-04-17

💡 一句话要点

提出PPRoute框架，保护用户隐私的同时加速LLM路由过程

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM路由 隐私保护 安全多方计算 MPC 加密推理

📋 核心要点

  1. LLM路由引入了新的隐私风险，现有方法缺乏对用户数据隐私的系统保护。
  2. PPRoute框架通过MPC友好的操作、多步模型训练和优化的Top-k算法，在保护隐私的同时加速LLM路由。
  3. 实验表明，PPRoute在保持性能的同时，比简单的MPC实现加速约20倍。

📝 摘要（中文）

大语言模型（LLM）路由已成为一种关键策略，通过动态选择来自不同模型提供商的服务来平衡模型性能和成本效益。然而，LLM路由在用户和LLM之间增加了一个中间层，从而给用户数据带来了新的隐私风险。这些隐私风险尚未得到系统地研究。虽然诸如安全多方计算（MPC）之类的密码学技术能够实现保护隐私的计算，但它们的协议设计和实现仍未得到充分探索，并且简单的实现通常会产生过高的计算开销。为了解决这个问题，我们提出了一个保护隐私的LLM路由框架（PPRoute）。PPRoute包括多种策略来加速MPC下的编码器推理和最近邻搜索，并保持LLM路由的质量。首先，PPRoute使用对MPC友好的操作来加速编码器推理。其次，PPRoute使用多步模型训练算法，以在加密域的约束下保持路由质量。第三，PPRoute提出了一种具有$O(1)$通信复杂度的无序Top-k算法，用于模型搜索中的安全排序，从而显著降低了通信延迟。在不同的数据集上，PPRoute实现了与明文对应物相当的性能，同时比简单的MPC实现实现了大约20倍的加速。

🔬 方法详解

问题定义：论文旨在解决LLM路由过程中用户数据隐私泄露的问题。现有的LLM路由方法通常直接在明文数据上进行操作，无法防止恶意中间方窃取用户输入，或者LLM提供商获取用户隐私信息。简单的使用安全多方计算（MPC）虽然可以保护隐私，但会引入巨大的计算开销，导致路由效率低下。

核心思路：论文的核心思路是在保证LLM路由性能的前提下，利用MPC技术对用户数据进行加密处理，使得路由过程在加密域中进行，从而保护用户隐私。通过优化MPC协议和模型训练方法，降低计算和通信开销，提高路由效率。

技术框架：PPRoute框架主要包含三个阶段：1) 加密编码器推理：使用MPC友好的操作加速用户输入的编码过程，将明文输入转换为加密的向量表示。2) 加密最近邻搜索：在加密的向量空间中进行最近邻搜索，找到与用户输入最匹配的LLM服务。3) 安全Top-k选择：使用优化的Top-k算法，在保证隐私的前提下，选择最佳的LLM服务。

关键创新：论文的关键创新在于：1) 提出了MPC友好的编码器推理方法，降低了加密推理的计算复杂度。2) 设计了多步模型训练算法，使得模型在加密域中也能保持良好的路由性能。3) 提出了具有$O(1)$通信复杂度的无序Top-k算法，显著降低了安全排序的通信延迟。

关键设计：在加密编码器推理阶段，论文选择使用加法同态加密方案，并使用ReLU激活函数的近似替代，例如使用多项式函数逼近ReLU，从而避免复杂的非线性运算。在多步模型训练中，首先在明文数据上训练一个初始模型，然后使用差分隐私技术对模型进行微调，最后在加密数据上进行训练，以适应加密域的特性。无序Top-k算法利用了比较操作的特殊性质，通过多次迭代比较，最终选出Top-k个元素，而无需进行全局排序。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PPRoute框架在不同的数据集上实现了与明文路由相当的性能，同时比简单的MPC实现加速了约20倍。这表明PPRoute在保护用户隐私的同时，能够有效地提高LLM路由的效率。此外，论文还验证了多步模型训练算法的有效性，证明了其能够在加密域中保持良好的路由质量。

🎯 应用场景

PPRoute框架可应用于各种需要保护用户隐私的LLM路由场景，例如医疗诊断、金融风控、法律咨询等。通过该框架，用户可以在享受LLM服务的同时，避免个人数据泄露的风险。该研究有助于推动LLM技术在隐私敏感领域的应用，并为构建安全可信的人工智能系统奠定基础。

📄 摘要（原文）

Large language model (LLM) routing has emerged as a critical strategy to balance model performance and cost-efficiency by dynamically selecting services from various model providers. However, LLM routing adds an intermediate layer between users and LLMs, creating new privacy risks to user data. These privacy risks have not been systematically studied. Although cryptographic techniques such as Secure Multi-Party Computation (MPC) enable privacy-preserving computation, their protocol design and implementation remain under-explored, and naïve implementations typically incur prohibitive computational overhead. To address this, we propose a privacy-preserving LLM routing framework (PPRoute). PPRoute includes multiple strategies to speed up encoder inference and nearest neighbor search under the MPC and maintain the quality of LLM routing. First, PPRoute uses MPC-friendly operations to boost the encoder inference. Second, PPRoute uses a multiple-step model training algorithm to maintain routing quality despite the constraints of the encrypted domain. Third, PPRoute proposes an unsorted Top-k algorithm with $O(1)$ communication complexity for secure sorting in model search, significantly reducing communication latency. Across different datasets, PPRoute achieves the performance of plaintext counterparts, while achieving approximately a 20$\times$ speedup over naïve MPC implementations.