SecureRouter: Encrypted Routing for Efficient Secure Inference
作者: Yukuan Zhang, Mengxin Zheng, Qian Lou
分类: cs.CR, cs.AI
发布日期: 2026-04-16
备注: To appear in the 63rd IEEE/ACM Design Automation Conference (DAC 2026)
🔗 代码/项目: GITHUB
💡 一句话要点
SecureRouter：面向高效安全推理的加密路由框架
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 安全多方计算 安全推理 Transformer模型 模型路由 隐私保护 加密计算 输入自适应
📋 核心要点
- 现有安全推理系统使用固定Transformer模型，忽略了不同输入对模型大小的需求差异，导致效率低下。
- SecureRouter提出了一种端到端的加密路由和推理框架，通过输入自适应模型选择加速安全Transformer推理。
- 实验表明，SecureRouter相比现有技术，延迟降低了1.95倍，且精度损失可忽略不计。
📝 摘要（中文）
密码学安全神经网络推理通常依赖于安全多方计算（MPC）等安全计算技术，使云服务器能够在不解密客户端输入的情况下处理它们。虽然先前的隐私保护推理系统将网络优化与MPC共同设计，但它们仍然缓慢且成本高昂，限制了实际部署。一个主要的瓶颈是它们对所有加密输入使用单个固定的Transformer模型，忽略了不同的输入需要不同的模型大小来平衡效率和准确性。我们提出了SecureRouter，一个端到端的加密路由和推理框架，通过加密下的输入自适应模型选择来加速安全Transformer推理。SecureRouter建立了一个统一的加密管道，将安全路由器与MPC优化的模型池集成在一起，从而实现协调的路由、推理和协议执行，同时保持完整的数据和模型机密性。该框架包括训练阶段和推理阶段组件：一个MPC成本感知的安全路由器，用于预测每个模型的效用和成本；以及一个MPC优化的模型池，其架构和量化方案经过共同训练，以最大限度地减少MPC通信和计算开销。与之前的工作相比，SecureRouter实现了1.95倍的延迟降低，而精度损失可忽略不计，为可扩展和高效的安全AI推理提供了一条实用的途径。我们的开源实现在：https://github.com/UCF-ML-Research/SecureRouter。
🔬 方法详解
问题定义：现有安全神经网络推理系统，特别是基于安全多方计算（MPC）的系统，在效率和成本方面存在瓶颈。它们通常使用单一、固定的Transformer模型处理所有加密输入，没有考虑到不同输入可能需要不同大小的模型以达到效率和准确性的最佳平衡。这种固定模型策略导致了不必要的计算开销，限制了实际部署。
核心思路：SecureRouter的核心思路是引入一个输入自适应的模型选择机制，在加密状态下根据输入特征动态地选择合适的模型进行推理。通过构建一个包含多个不同大小和配置的模型的模型池，并训练一个安全路由器来预测每个模型对于特定输入的效用和成本，从而在保证安全性的前提下，优化推理效率。
技术框架：SecureRouter框架包含两个主要组成部分：MPC成本感知的安全路由器和MPC优化的模型池。训练阶段，安全路由器学习预测每个模型对于加密输入的效用和成本。推理阶段，安全路由器根据加密输入选择最佳模型，然后使用MPC优化的模型池进行安全推理。整个流程在一个统一的加密管道中进行，确保数据和模型机密性。
关键创新：SecureRouter的关键创新在于其输入自适应的模型选择机制，以及MPC成本感知的安全路由器的设计。与现有方法不同，SecureRouter能够根据加密输入的特征动态地选择合适的模型，从而在保证安全性的前提下，显著提高推理效率。此外，MPC成本感知的安全路由器能够准确预测每个模型的效用和成本，从而做出最优的模型选择决策。
关键设计：安全路由器的训练过程需要考虑MPC的计算和通信开销。损失函数的设计需要平衡模型的准确性和MPC成本。模型池中的模型架构和量化方案也需要进行协同训练，以最小化MPC的开销。具体而言，可能采用知识蒸馏等技术，将大模型的知识迁移到小模型，同时优化量化策略，减少MPC中的通信量。
🖼️ 关键图片
📊 实验亮点
SecureRouter在实验中取得了显著的性能提升。与现有技术相比，SecureRouter实现了1.95倍的延迟降低，同时保持了可忽略不计的精度损失。这一结果表明，SecureRouter能够有效地加速安全Transformer推理，为实际应用提供了可行的解决方案。
🎯 应用场景
SecureRouter可应用于需要保护用户隐私的云端AI推理服务，例如医疗诊断、金融风控等领域。它能够让云服务器在不解密用户数据的前提下进行模型推理，从而保护用户隐私。该技术有助于推动安全AI在各个行业的落地应用，并为构建可信赖的AI生态系统奠定基础。
📄 摘要（原文）
Cryptographically secure neural network inference typically relies on secure computing techniques such as Secure Multi-Party Computation (MPC), enabling cloud servers to process client inputs without decrypting them. Although prior privacy-preserving inference systems co-design network optimizations with MPC, they remain slow and costly, limiting real-world deployment. A major bottleneck is their use of a single, fixed transformer model for all encrypted inputs, ignoring that different inputs require different model sizes to balance efficiency and accuracy. We present SecureRouter, an end-to-end encrypted routing and inference framework that accelerates secure transformer inference through input-adaptive model selection under encryption. SecureRouter establishes a unified encrypted pipeline that integrates a secure router with an MPC-optimized model pool, enabling coordinated routing, inference, and protocol execution while preserving full data and model confidentiality. The framework includes training-phase and inference-phase components: an MPC-cost-aware secure router that predicts per-model utility and cost from encrypted features, and an MPC-optimized model pool whose architectures and quantization schemes are co-trained to minimize MPC communication and computation overhead. Compared to prior work, SecureRouter achieves a latency reduction by 1.95x with negligible accuracy loss, offering a practical path toward scalable and efficient secure AI inference. Our open-source implementation is available at: https://github.com/UCF-ML-Research/SecureRouter