NeuJeans: Private Neural Network Inference with Joint Optimization of Convolution and FHE Bootstrapping

📄 arXiv: 2312.04356v3 📥 PDF

作者: Jae Hyung Ju, Jaiyoung Park, Jongmin Kim, Minsik Kang, Donghwan Kim, Jung Hee Cheon, Jung Ho Ahn

分类: cs.CR, cs.LG

发布日期: 2023-12-07 (更新: 2025-01-12)

备注: 15 pages, 6 figures, published at ACM 2024

DOI: 10.1145/3658644.3690375

💡 一句话要点

NeuJeans：通过卷积与FHE自举联合优化实现私有神经网络推理

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 全同态加密 私有推理 卷积神经网络 Coefficients-in-Slot编码 离散傅里叶变换

📋 核心要点

  1. 现有基于FHE的私有推理方案在CNN等复杂模型上计算开销巨大，严重限制了其应用。
  2. NeuJeans通过CinS编码，在一次同态乘法中实现多次卷积，并优化了CinS与Slot编码之间的转换。
  3. 实验表明，NeuJeans显著加速了卷积操作，在ImageNet规模的CNN上实现了快速私有推理。

📝 摘要（中文）

本文提出NeuJeans，一种基于全同态加密（FHE）的深度卷积神经网络（CNN）私有推理（PI）解决方案。NeuJeans旨在解决FHE评估CNN时计算成本过高的问题。我们引入了一种名为Coefficients-in-Slot (CinS)编码的新型编码方法，它可以在一次HE乘法中实现多次卷积，而无需昂贵的槽置换。我们进一步观察到，CinS编码是通过对传统Slot编码中的密文执行离散傅里叶变换（DFT）的前几个步骤获得的。这一特性使我们能够节省CinS和Slot编码之间的转换，因为自举密文以DFT开始。利用这一点，我们为各种二维卷积（conv2d）操作设计了优化的执行流程，并将它们应用于端到端CNN实现。与最先进的基于FHE的PI工作相比，NeuJeans将conv2d-激活序列的性能提高了高达5.68倍，并在短短几秒钟内执行了ImageNet规模的CNN的PI。

🔬 方法详解

问题定义：论文旨在解决基于全同态加密（FHE）的私有神经网络推理中，卷积神经网络（CNN）计算开销过大的问题。现有的FHE方案在处理深度CNN时，需要大量的同态运算，特别是乘法和置换操作，导致推理速度非常慢，难以实际应用。

核心思路：论文的核心思路是通过一种新的编码方式，即Coefficients-in-Slot (CinS) 编码，将多个卷积运算融合到一次同态乘法中，从而减少同态乘法的次数。此外，论文还观察到CinS编码与Slot编码之间存在联系，可以通过离散傅里叶变换（DFT）进行转换，并利用FHE自举过程中的DFT操作来优化编码转换。

技术框架：NeuJeans的整体框架包括：1) 使用CinS编码对输入数据进行编码；2) 利用优化的卷积操作执行同态计算；3) 在需要时，利用DFT进行CinS和Slot编码之间的转换；4) 使用FHE自举技术刷新密文，降低噪声。该框架的关键在于CinS编码和优化的卷积操作，以及与自举过程的协同优化。

关键创新：论文最重要的技术创新点是CinS编码。与传统的Slot编码相比，CinS编码允许在一次同态乘法中执行多个卷积操作，从而显著减少了同态乘法的次数。此外，论文还创新性地将CinS编码与FHE自举过程相结合，利用自举过程中的DFT操作来优化编码转换，进一步提高了效率。

关键设计：论文的关键设计包括：1) CinS编码的具体实现方式，包括如何将卷积核和输入数据编码到密文中；2) 优化的卷积操作，包括如何利用CinS编码实现高效的同态卷积；3) CinS和Slot编码之间的转换方法，包括如何利用DFT实现高效的编码转换；4) 与FHE自举过程的协同优化，包括如何利用自举过程中的DFT操作来减少编码转换的开销。具体的参数设置和网络结构取决于具体的CNN模型。

📊 实验亮点

NeuJeans在卷积操作上相比现有技术实现了高达5.68倍的加速。更重要的是，NeuJeans能够在ImageNet规模的CNN上实现快速的私有推理，推理时间仅需几秒钟。这些结果表明NeuJeans在实际应用中具有很强的竞争力，为FHE在深度学习领域的应用开辟了新的可能性。

🎯 应用场景

NeuJeans在保护用户隐私的前提下，实现了高效的深度学习推理，可应用于医疗诊断、金融风控、智能安防等对隐私保护有较高要求的领域。例如，用户可以在不泄露个人医疗数据的情况下，利用云端服务器上的AI模型进行疾病诊断，从而实现安全可靠的智能医疗服务。该研究的突破将加速FHE在实际场景中的落地。

📄 摘要（原文）

Fully homomorphic encryption (FHE) is a promising cryptographic primitive for realizing private neural network inference (PI) services by allowing a client to fully offload the inference task to a cloud server while keeping the client data oblivious to the server. This work proposes NeuJeans, an FHE-based solution for the PI of deep convolutional neural networks (CNNs). NeuJeans tackles the critical problem of the enormous computational cost for the FHE evaluation of CNNs. We introduce a novel encoding method called Coefficients-in-Slot (CinS) encoding, which enables multiple convolutions in one HE multiplication without costly slot permutations. We further observe that CinS encoding is obtained by conducting the first several steps of the Discrete Fourier Transform (DFT) on a ciphertext in conventional Slot encoding. This property enables us to save the conversion between CinS and Slot encodings as bootstrapping a ciphertext starts with DFT. Exploiting this, we devise optimized execution flows for various two-dimensional convolution (conv2d) operations and apply them to end-to-end CNN implementations. NeuJeans accelerates the performance of conv2d-activation sequences by up to 5.68 times compared to state-of-the-art FHE-based PI work and performs the PI of a CNN at the scale of ImageNet within a mere few seconds.