OptiPrime: Optimizing Private Inference through Protocol-Hardware Co-design
作者: Jiangrui Yu, Ye Yu, Si Chen, Chenqi Lin, Wenxuan Zeng, Junfeng Fan, Mingyu Gao, Meng Li
分类: cs.AR, cs.CR, cs.LG
发布日期: 2026-09-15
备注: Accepted to the 59th IEEE/ACM International Symposium on Microarchitecture (MICRO 2026)
💡 一句话要点
提出OptiPrime以优化私有推理中的协议与硬件协同设计
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 私有推理 同态加密 多方计算 深度学习 协议优化 硬件加速 内存压缩 数据重用
📋 核心要点
- 现有的HE-MPC框架在进行私有推理时，面临着网络通信瓶颈，导致性能提升有限。
- 本文提出OptiPrime，通过新型HE协议减少输出密文传输量，并引入轻量级压缩系统来优化内存使用。
- 实验结果显示，OptiPrime在CPU和加速器上的性能分别提升最多5.7倍和4.2倍，显著优于现有基线。
📝 摘要（中文）
基于混合同态加密（HE）和多方计算（MPC）的私有深度神经网络（DNN）推理能够在形式上保护用户数据，但由于HE的使用导致显著的延迟开销。虽然已有定制的HE加速器实现了单个HE操作的显著加速，但在将其直接应用于最先进的HE-MPC框架时，性能提升有限。为了解决这一问题，本文提出了OptiPrime，一个用于高效私有DNN推理的协议-硬件协同优化框架。OptiPrime引入了一种新型的卷积HE协议，显著减少了传输的输出密文数量，从而缓解了网络通信瓶颈。同时，针对新协议引入的复杂计算，提出了一种轻量级的权重明文压缩系统，减少了10倍的内存流量，并设计了专门的数据流以最大化中间密文的片上数据重用。实验结果表明，该框架在CPU上性能提升最多可达5.7倍，在加速器上提升4.2倍。
🔬 方法详解
问题定义：本文旨在解决现有HE-MPC框架在私有DNN推理中因网络通信瓶颈导致的性能不足问题。现有方法在使用HE加速器时，虽然单个操作加速显著，但整体性能提升有限。
核心思路：论文提出的OptiPrime框架通过设计一种新型HE协议，减少了卷积操作中需要传输的输出密文数量，从而降低了网络通信的负担。同时，针对新协议引入的复杂计算，提出了轻量级的权重明文压缩系统，以优化内存使用。
技术框架：OptiPrime框架包含两个主要模块：一是新型HE协议，二是轻量级压缩系统。新协议优化了卷积操作的密文传输，而压缩系统则减少了内存流量并提高了数据重用效率。
关键创新：最重要的技术创新在于新型HE协议的设计，它通过减少输出密文的数量，显著缓解了网络通信瓶颈，与传统方法相比，提升了整体推理性能。
关键设计：在设计中，采用了轻量级的压缩算法来处理权重明文，减少了10倍的内存流量。同时，优化了中间密文的数据流，以最大化片上数据的重用，提升了计算效率。
🖼️ 关键图片
📊 实验亮点
在实验中，OptiPrime框架在CPU上的性能提升最多可达5.7倍，而在加速器上的提升为4.2倍，显著优于Cheetah基线。这一结果表明，协议与硬件的协同优化能够有效解决私有推理中的性能瓶颈问题。
🎯 应用场景
OptiPrime框架在私有深度学习推理中具有广泛的应用潜力，尤其适用于需要保护用户数据隐私的场景，如医疗影像分析、金融数据处理等。通过优化协议与硬件的协同设计，该研究能够在保证数据安全的同时，显著提升推理效率，推动隐私保护技术的实际应用。
📄 摘要（原文）
Private deep neural network (DNN) inference based on hybrid homomorphic encryption (HE) and multi-party computation (MPC) can protect user data with a formal guarantee, but at the cost of significant latency overhead due to HE. Customized HE accelerators have been proposed and have achieved orders-of-magnitude speedup for individual HE operations. However, when directly applying a commercial HE accelerator to state-of-the-art HE-MPC frameworks, we observe only limited end-to-end performance gain. This is because HE-MPC frameworks often require wireless transmission of input and output ciphertexts for each HE operation, leading to a severe network communication bottleneck. To overcome this challenge, we introduce OptiPrime, a protocol-hardware co-optimization framework for efficient private DNN inference. OptiPrime features a novel HE protocol for convolutions that substantially reduces the number of transmitted output ciphertexts and mitigates the network communication bottleneck. Meanwhile, as the new protocol introduces complex computation for fewer output ciphertext, we observe new memory access challenges due to a high volume of weight plaintexts and intermediate ciphertexts. Hence, we further propose a lightweight compression system for the weight plaintexts, reducing memory traffic by 10 times, as well as a specialized dataflow to maximize on-chip data reuse of intermediate ciphertexts. Extensive experiments show that our framework outperforms the Cheetah baseline by at most 5.7 times on CPUs and 4.2 times with an accelerator.