Privacy-Preserving Hierarchical Model-Distributed Inference
作者: Fatemeh Jafarian Dehkordi, Yasaman Keshtkarjahromi, Hulya Seferoglu
分类: cs.CR, cs.LG
发布日期: 2024-07-25 (更新: 2024-09-15)
💡 一句话要点
提出privateMDI，用于保护隐私的分层模型分布式推理加速。
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)
关键词: 隐私保护 模型分布式推理 分层推理 边缘计算 同态加密
📋 核心要点
- 现有机器学习推理方案在分层架构中面临数据和模型隐私泄露的风险，且推理速度有待提升。
- 论文提出privateMDI，利用模型分布式推理和优化的离线/在线阶段划分，在边缘侧加速推理并减少通信。
- 实验结果表明，privateMDI能够显著减少机器学习推理时间，优于现有基线方法，提升效果显著。
📝 摘要（中文）
本文致力于为分层架构设计一种保护隐私的机器学习（ML）推理协议。在该架构中，客户端拥有/生成数据，模型所有者（云服务器）拥有预训练的ML模型，边缘服务器使用云服务器的ML模型对客户端数据执行ML推理。我们的目标是在保护数据和ML模型隐私的同时，加速ML推理。我们的方法：（i）在边缘服务器上使用模型分布式推理（模型并行化）；（ii）减少与云服务器之间的通信量。我们的保护隐私的分层模型分布式推理设计privateMDI，使用加性秘密共享和线性同态加密来处理ML推理中的线性计算，并使用混淆电路和一种新颖的三方不经意传输来处理非线性函数。privateMDI由离线和在线阶段组成。我们设计这些阶段的方式是，大部分数据交换在离线阶段完成，同时减少在线阶段的通信开销。特别地，在线阶段没有与云服务器的通信，并且客户端和边缘服务器之间的通信量被最小化。实验结果表明，与基线相比，privateMDI显著减少了ML推理时间。
🔬 方法详解
问题定义：论文旨在解决分层架构下，客户端数据和云端模型在机器学习推理过程中面临的隐私泄露问题，同时优化推理速度。现有方法通常无法兼顾隐私保护和效率，或者需要大量的通信开销，限制了实际应用。
核心思路：论文的核心思路是利用模型分布式推理（模型并行化）将计算任务分散到边缘服务器，并结合密码学技术（加性秘密共享、线性同态加密、混淆电路、三方不经意传输）来保护数据和模型的隐私。通过精心设计的离线和在线阶段，将大部分计算和通信开销转移到离线阶段，从而减少在线推理时的延迟。
技术框架：privateMDI包含离线和在线两个阶段。离线阶段主要进行预计算和密钥交换，为在线推理做准备。在线阶段，客户端将数据发送给边缘服务器，边缘服务器利用模型分布式推理进行计算，并使用密码学技术保护数据和模型的隐私。最终，边缘服务器将结果返回给客户端。整个过程中，云服务器主要参与离线阶段的模型分割和参数分发，在线阶段无需参与。
关键创新：论文的关键创新在于将模型分布式推理与多种密码学技术相结合，设计了一种高效且隐私保护的分层推理框架。特别地，论文提出了一种新颖的三方不经意传输协议，用于处理非线性计算，进一步提升了隐私保护能力。此外，离线/在线阶段的划分策略也显著减少了在线推理的通信开销。
关键设计：privateMDI的关键设计包括：1) 使用加性秘密共享和线性同态加密处理线性计算，保证数据在计算过程中的隐私性；2) 使用混淆电路和三方不经意传输处理非线性计算，进一步增强隐私保护；3) 精心设计离线和在线阶段，将大部分计算和通信开销转移到离线阶段，减少在线推理延迟；4) 模型分割策略，将模型合理地分配到不同的边缘服务器，实现模型并行化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，privateMDI在保证隐私的前提下，显著减少了机器学习推理时间。与基线方法相比，privateMDI实现了更高的推理效率，并且在线阶段无需与云服务器进行通信，极大地降低了通信开销。具体的性能提升数据（例如推理时间减少百分比）未知，但摘要明确指出privateMDI显著优于基线。
🎯 应用场景
该研究成果可应用于各种需要保护用户数据隐私的边缘计算场景，例如智能医疗、金融风控、自动驾驶等。通过在边缘侧进行隐私保护的机器学习推理，可以减少数据泄露的风险，同时提高推理速度，为用户提供更安全、更高效的服务。未来，该技术有望推动边缘智能的广泛应用。
📄 摘要（原文）
This paper focuses on designing a privacy-preserving Machine Learning (ML) inference protocol for a hierarchical setup, where clients own/generate data, model owners (cloud servers) have a pre-trained ML model, and edge servers perform ML inference on clients' data using the cloud server's ML model. Our goal is to speed up ML inference while providing privacy to both data and the ML model. Our approach (i) uses model-distributed inference (model parallelization) at the edge servers and (ii) reduces the amount of communication to/from the cloud server. Our privacy-preserving hierarchical model-distributed inference, privateMDI design uses additive secret sharing and linearly homomorphic encryption to handle linear calculations in the ML inference, and garbled circuit and a novel three-party oblivious transfer are used to handle non-linear functions. privateMDI consists of offline and online phases. We designed these phases in a way that most of the data exchange is done in the offline phase while the communication overhead of the online phase is reduced. In particular, there is no communication to/from the cloud server in the online phase, and the amount of communication between the client and edge servers is minimized. The experimental results demonstrate that privateMDI significantly reduces the ML inference time as compared to the baselines.