Privacy-Preserving Verifiable Neural Network Inference Service

📄 arXiv: 2411.07468v2 📥 PDF

作者: Arman Riasi, Jorge Guajardo, Thang Hoang

分类: cs.CR, cs.LG

发布日期: 2024-11-12 (更新: 2024-11-13)

备注: Accepted at the Annual Computer Security Applications Conference (ACSAC) 2024. Source code: github.com/vt-asaplab/vPIN

💡 一句话要点

提出vPIN：一种保护隐私且可验证的神经网络推理服务方案

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 隐私保护 可验证计算 同态加密 神经网络推理 机器学习即服务

📋 核心要点

  1. 现有MLaaS方案在保护用户数据隐私和提供推理结果可验证性方面存在不足，容易导致数据泄露和不公平结果。
  2. vPIN方案利用部分同态加密和简洁非交互式知识论证技术，在保护客户端数据隐私的同时，确保推理结果的可验证性。
  3. 实验结果表明，vPIN在证明时间、验证时间和证明大小方面表现出高效率，并在MNIST和CIFAR-10等数据集上进行了验证。

📝 摘要（中文）

机器学习彻底改变了数据分析和模式识别，但其资源密集型训练限制了可访问性。机器学习即服务（MLaaS）通过允许用户将其数据样本委托给MLaaS提供商，并使用预训练模型获得推理结果，从而简化了这一过程。尽管MLaaS很方便，但它给客户端带来了严重的隐私和可靠性问题。具体而言，客户端查询数据中的敏感信息可能会泄露给对抗性的MLaaS提供商。同时，缺乏可验证性保证可能会导致有偏差的推理结果，甚至是不公平的支付问题。现有的可信机器学习技术，例如依赖于可验证计算或安全计算的技术，虽然可以解决隐私和可靠性问题，但它们无法同时保护客户端数据的隐私并提供可证明的推理可验证性。在本文中，我们提出了一种保护隐私且可验证的CNN推理方案vPIN，该方案在保护客户端数据样本隐私的同时，确保推理的可验证性。vPIN利用部分同态加密和commit-and-prove简洁非交互式知识论证技术来实现理想的安全属性。在vPIN中，我们开发了各种优化技术，以最大限度地减少同态推理评估的证明电路，从而提高我们技术的效率和性能。我们已在标准数据集（例如，MNIST、CIFAR-10）上完全实施和评估了我们的vPIN方案。我们的实验结果表明，vPIN在证明时间、验证时间和证明大小方面实现了高效率，同时提供了客户端数据隐私保证和可证明的可验证性。

🔬 方法详解

问题定义：论文旨在解决机器学习即服务（MLaaS）中客户端数据隐私泄露和推理结果不可验证的问题。现有的MLaaS方案无法同时保证客户端数据的隐私性和推理结果的可靠性，存在潜在的安全风险和公平性问题。

核心思路：论文的核心思路是结合部分同态加密（Partial Homomorphic Encryption, PHE）和简洁非交互式知识论证（Succinct Non-interactive Argument of Knowledge, SNARK）技术，构建一个既能保护客户端数据隐私，又能提供可验证推理结果的vPIN方案。通过同态加密保证数据在计算过程中的隐私性，通过SNARK证明推理过程的正确性。

技术框架：vPIN方案的整体框架包含以下几个主要阶段：1. 客户端使用同态加密对数据进行加密。2. 客户端将加密后的数据发送给 MLaaS 提供商。3. MLaaS 提供商在加密数据上进行推理计算。4. MLaaS 提供商生成推理结果的 SNARK 证明。5. MLaaS 提供商将加密的推理结果和 SNARK 证明发送给客户端。6. 客户端验证 SNARK 证明，并解密推理结果。

关键创新：论文的关键创新在于将部分同态加密和SNARK技术结合，实现了隐私保护和可验证推理的统一。此外，论文还针对同态推理评估的证明电路进行了优化，从而提高了方案的效率和性能。

关键设计：vPIN方案的关键设计包括：1. 选择合适的同态加密方案，以支持神经网络中的计算操作。2. 设计高效的SNARK证明系统，以减少证明时间和验证时间。3. 优化神经网络结构，以降低同态加密计算的复杂度。4. 针对特定的神经网络层（例如，卷积层、全连接层）设计专门的同态计算方法。

🖼️ 关键图片

fig_0

📊 实验亮点

论文在MNIST和CIFAR-10数据集上进行了实验评估，结果表明vPIN方案在保证隐私和可验证性的前提下，实现了较高的效率。具体而言，vPIN在证明时间、验证时间和证明大小方面都表现出良好的性能。例如，在MNIST数据集上，vPIN的证明时间为X秒，验证时间为Y秒，证明大小为Z KB（具体数据请参考原文）。

🎯 应用场景

vPIN方案可应用于对数据隐私和结果可靠性有较高要求的场景，例如金融风控、医疗诊断、身份认证等。该方案能够保护用户敏感数据不被泄露，并确保推理结果的正确性，从而提高系统的安全性和可信度。未来，该方案可以进一步扩展到更复杂的机器学习模型和应用场景。

📄 摘要（原文）

Machine learning has revolutionized data analysis and pattern recognition, but its resource-intensive training has limited accessibility. Machine Learning as a Service (MLaaS) simplifies this by enabling users to delegate their data samples to an MLaaS provider and obtain the inference result using a pre-trained model. Despite its convenience, leveraging MLaaS poses significant privacy and reliability concerns to the client. Specifically, sensitive information from the client inquiry data can be leaked to an adversarial MLaaS provider. Meanwhile, the lack of a verifiability guarantee can potentially result in biased inference results or even unfair payment issues. While existing trustworthy machine learning techniques, such as those relying on verifiable computation or secure computation, offer solutions to privacy and reliability concerns, they fall short of simultaneously protecting the privacy of client data and providing provable inference verifiability. In this paper, we propose vPIN, a privacy-preserving and verifiable CNN inference scheme that preserves privacy for client data samples while ensuring verifiability for the inference. vPIN makes use of partial homomorphic encryption and commit-and-prove succinct non-interactive argument of knowledge techniques to achieve desirable security properties. In vPIN, we develop various optimization techniques to minimize the proving circuit for homomorphic inference evaluation thereby, improving the efficiency and performance of our technique. We fully implemented and evaluated our vPIN scheme on standard datasets (e.g., MNIST, CIFAR-10). Our experimental results show that vPIN achieves high efficiency in terms of proving time, verification time, and proof size, while providing client data privacy guarantees and provable verifiability.