Artemis: HE-Aware Training for Efficient Privacy-Preserving Machine Learning

📄 arXiv: 2310.01664v1 📥 PDF

作者: Yeonsoo Jeon, Mattan Erez, Michael Orshansky

分类: cs.LG, cs.AI, cs.CR

发布日期: 2023-10-02

💡 一句话要点

提出Artemis以解决HE-PPML中的高计算成本问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 同态加密 隐私保护 深度学习 剪枝技术 机器学习 计算效率 组Lasso正则化 卷积神经网络

📋 核心要点

  1. 现有的同态加密隐私保护机器学习方法在处理大型深度神经网络时计算成本过高，限制了其实用性。
  2. 论文提出了一种名为Artemis的DNN剪枝技术，通过对角剪枝策略减少HE卷积中的旋转操作，提高计算效率。
  3. 实验结果表明，Artemis在多个数据集上对现代卷积模型的性能提升达1.2-6倍，显著优于以往的HE剪枝方法。

📝 摘要（中文）

基于同态加密（HE）的隐私保护机器学习（PPML）是一种有前景的隐私技术，但在处理现代大型深度神经网络时，计算成本仍然较高。本文提出Artemis，一种针对HE推理的高效DNN剪枝技术，重点研究两种HE感知剪枝策略（位置剪枝和对角剪枝），以减少在HE卷积中占主导地位的旋转操作数量。研究表明，Pareto最优解完全基于对角剪枝。Artemis通过结合DNN训练和新颖的组Lasso正则化目标，最大化HE特定的成本降低。实验结果显示，Artemis在针对现代卷积模型（如ResNet18）时，能够实现1.2-6倍的性能提升。

🔬 方法详解

问题定义：本文旨在解决基于同态加密的隐私保护机器学习（HE-PPML）在处理大型深度神经网络时面临的高计算成本问题。现有的剪枝方法在HE环境下无法有效应用，导致计算效率低下。

核心思路：论文提出Artemis，通过对角剪枝策略来减少HE卷积中的旋转操作数量，从而降低计算成本。结合DNN训练与组Lasso正则化目标，最大化HE特定的成本降低。

技术框架：Artemis的整体架构包括两个主要模块：DNN训练模块和剪枝模块。DNN训练模块采用组Lasso正则化来引导剪枝，而剪枝模块则实施对角剪枝策略以优化旋转操作的数量。

关键创新：最重要的创新在于提出了HE感知的剪枝策略，尤其是对角剪枝，能够有效降低HE推理中的计算负担，与传统剪枝方法相比，具有显著的性能提升。

关键设计：在设计中，采用了组Lasso正则化作为损失函数，以引导剪枝过程，并通过对角剪枝策略优化网络结构，确保在保持模型性能的同时，最大限度地减少计算开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Artemis在针对现代卷积模型（如ResNet18）时，能够实现1.2-6倍的性能提升，显著优于以往的HE剪枝方法。这一成果表明，Artemis在降低HE-PPML计算成本方面具有显著优势，能够有效支持大规模深度学习应用。

🎯 应用场景

该研究的潜在应用领域包括医疗数据分析、金融隐私保护和智能合约等需要高隐私保护的机器学习场景。Artemis的高效剪枝技术能够使得HE-PPML在实际应用中更具可行性，推动隐私保护技术的广泛应用。未来，随着技术的进一步发展，Artemis可能会促进更多隐私保护机器学习应用的落地。

📄 摘要（原文）

Privacy-Preserving ML (PPML) based on Homomorphic Encryption (HE) is a promising foundational privacy technology. Making it more practical requires lowering its computational cost, especially, in handling modern large deep neural networks. Model compression via pruning is highly effective in conventional plaintext ML but cannot be effectively applied to HE-PPML as is. We propose Artemis, a highly effective DNN pruning technique for HE-based inference. We judiciously investigate two HE-aware pruning strategies (positional and diagonal) to reduce the number of Rotation operations, which dominate compute time in HE convolution. We find that Pareto-optimal solutions are based fully on diagonal pruning. Artemis' benefits come from coupling DNN training, driven by a novel group Lasso regularization objective, with pruning to maximize HE-specific cost reduction (dominated by the Rotation operations). We show that Artemis improves on prior HE-oriented pruning and can achieve a 1.2-6x improvement when targeting modern convolutional models (ResNet18 and ResNet18) across three datasets.