Salted Inference: Enhancing Privacy while Maintaining Efficiency of Split Inference in Mobile Computing

📄 arXiv: 2310.13384v2 📥 PDF

作者: Mohammad Malekzadeh, Fahim Kawsar

分类: cs.LG, cs.DC

发布日期: 2023-10-20 (更新: 2024-01-19)

备注: To be appeared in the 25th International Workshop on Mobile Computing Systems and Applications (HotMobile 2024)

💡 一句话要点

提出盐分推理以解决移动计算中的输出隐私问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 分割推理 输出隐私 深度神经网络 盐分DNN 移动计算 隐私保护 同态加密

📋 核心要点

  1. 核心问题：现有的分割推理方法在保护输出隐私方面存在不足，云端可观察到DNN的输出。
  2. 方法要点：提出盐分DNN，通过在推理时控制输出的语义解释，增强输出隐私，同时保持计算效率。
  3. 实验或效果：实验表明，盐分DNN的分类准确率与标准DNN相近，尤其在盐分层设置于早期部分时效果显著。

📝 摘要（中文）

在分割推理中，深度神经网络（DNN）被分为在边缘设备上运行的早期部分和在云端运行的后期部分。这满足了移动设备机器学习的两个关键需求：输入隐私和计算效率。然而，输出隐私仍然是一个未解决的问题，因为DNN的输出在云端可被观察。虽然加密计算可以保护输出隐私，但同态加密需要边缘和云设备之间大量的计算和通信资源。本文提出了盐分DNN（Salted DNNs），一种新方法，使边缘设备的客户端能够在推理时控制DNN输出的语义解释。实验结果表明，盐分DNN的分类准确率与标准DNN非常接近，尤其是在盐分层位于早期部分时。我们的研究具有广泛的适用性，并开源了代码以供未来研究使用。

🔬 方法详解

问题定义：本文旨在解决分割推理中输出隐私的问题。现有方法在保护输入隐私和计算效率方面表现良好，但输出隐私仍然是一个挑战，尤其是在云端可观察到DNN的输出时。

核心思路：盐分DNN的核心思想是允许边缘设备的客户端在推理时控制DNN输出的语义解释，从而增强输出隐私。这种设计使得即使在云端，输出的具体含义也不易被推测。

技术框架：盐分DNN的整体架构包括两个主要部分：边缘设备上运行的早期DNN部分和云端运行的后期DNN部分。盐分层被引入到早期部分，以便在推理过程中进行语义控制。

关键创新：盐分DNN的最重要创新在于其能够在不显著降低分类准确率的情况下，提供输出隐私保护。这与传统的同态加密方法相比，避免了高昂的计算和通信开销。

关键设计：在盐分DNN中，关键设计包括盐分层的参数设置和网络结构的调整，以确保在保持高效计算的同时，能够有效地控制输出的语义解释。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，盐分DNN在分类准确率上与标准DNN非常接近，尤其是在盐分层位于早期部分时，分类准确率的提升幅度与传统方法相比显著降低了计算和通信资源的需求，为移动计算中的隐私保护提供了有效的解决方案。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在需要保护用户隐私的移动计算场景中，如智能手机应用、可穿戴设备和物联网设备。通过增强输出隐私，盐分DNN能够在医疗、金融和个人数据处理等领域提供更安全的机器学习解决方案，未来可能会对隐私保护技术的发展产生深远影响。

📄 摘要（原文）

In split inference, a deep neural network (DNN) is partitioned to run the early part of the DNN at the edge and the later part of the DNN in the cloud. This meets two key requirements for on-device machine learning: input privacy and computation efficiency. Still, an open question in split inference is output privacy, given that the outputs of the DNN are observable in the cloud. While encrypted computing can protect output privacy too, homomorphic encryption requires substantial computation and communication resources from both edge and cloud devices. In this paper, we introduce Salted DNNs: a novel approach that enables clients at the edge, who run the early part of the DNN, to control the semantic interpretation of the DNN's outputs at inference time. Our proposed Salted DNNs maintain classification accuracy and computation efficiency very close to the standard DNN counterparts. Experimental evaluations conducted on both images and wearable sensor data demonstrate that Salted DNNs attain classification accuracy very close to standard DNNs, particularly when the Salted Layer is positioned within the early part to meet the requirements of split inference. Our approach is general and can be applied to various types of DNNs. As a benchmark for future studies, we open-source our code.