CBNN: 3-Party Secure Framework for Customized Binary Neural Networks Inference

📄 arXiv: 2412.16449v1 📥 PDF

作者: Benchang Dong, Zhili Chen, Xin Chen, Shiwen Wei, Jie Fu, Huifa Li

分类: cs.LG, cs.CR

发布日期: 2024-12-21

💡 一句话要点

CBNN：用于定制二值神经网络推理的三方安全框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 二值神经网络 隐私保护机器学习 安全多方计算 知识蒸馏 可分离卷积

📋 核心要点

  1. 现有二值神经网络在隐私保护机器学习中面临通信开销大和精度损失的挑战。
  2. CBNN通过知识蒸馏和可分离卷积定制BNN，并优化安全协议，实现高效安全推理。
  3. 实验表明，CBNN在保证安全性的同时，能够维持定制二值化后的模型性能。

📝 摘要（中文）

二值神经网络(BNN)通过使用二值简化运算，为机器学习任务提供高效的实现，并促进隐私保护机器学习(PPML)。然而，在其应用场景中，通信和准确性方面仍然存在挑战。本文提出了CBNN，一个为高效BNN推理量身定制的三方安全计算框架。CBNN利用知识蒸馏和可分离卷积将标准BNN转换为对MPC友好的定制BNN，同时保持高实用性。它使用优化的基本操作协议执行安全推理。具体来说，CBNN通过复制秘密共享和MPC友好的卷积来增强线性运算，同时引入了一种新颖的安全激活函数来优化非线性运算。我们通过转换和安全地实现几个典型的BNN模型来证明CBNN的有效性。实验结果表明，即使在定制二值化和安全措施之后，CBNN 仍然保持了令人印象深刻的性能。

🔬 方法详解

问题定义：论文旨在解决在隐私保护场景下，二值神经网络推理过程中通信开销大和精度损失的问题。现有的二值神经网络在应用于多方安全计算(MPC)时，由于需要进行大量的秘密共享和安全运算，导致通信开销显著增加，同时为了适应MPC环境，可能需要对模型进行简化，从而牺牲模型的精度。

核心思路：论文的核心思路是通过定制化的二值神经网络结构和优化的安全计算协议，在保证安全性的前提下，降低通信开销，并尽可能地保持模型的精度。具体来说，利用知识蒸馏将标准BNN转化为更适合MPC的结构，并设计MPC友好的卷积和激活函数。

技术框架：CBNN框架包含三个参与方，分别持有输入数据和模型参数的秘密份额。整体流程包括：1) 使用知识蒸馏和可分离卷积将标准BNN转化为定制BNN；2) 将定制BNN的模型参数和输入数据进行秘密共享；3) 使用优化的安全协议进行推理，包括安全线性运算（复制秘密共享和MPC友好的卷积）和安全非线性运算（安全激活函数）；4) 各方合作解密推理结果。

关键创新：论文的关键创新在于：1) 提出了针对BNN的定制化结构，使其更适合MPC环境；2) 设计了新的安全激活函数，优化了非线性运算的效率；3) 结合复制秘密共享和MPC友好的卷积，提高了线性运算的效率。

关键设计：论文使用了知识蒸馏技术，将复杂模型的知识迁移到更简单的二值神经网络中，从而降低了计算复杂度。同时，采用了可分离卷积来减少参数量和计算量。在安全激活函数的设计上，论文可能采用了多项式逼近或其他MPC友好的方法，以降低非线性运算的通信开销。具体的参数设置和损失函数细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CBNN在定制二值化和安全措施之后，仍然保持了令人印象深刻的性能。具体的性能数据、对比基线和提升幅度需要在论文中进一步查找。但总体而言，CBNN在保证安全性的同时，能够维持甚至提升二值神经网络的推理效率。

🎯 应用场景

该研究成果可应用于需要隐私保护的机器学习场景，例如金融风控、医疗诊断等。在这些场景中，用户的数据非常敏感，需要进行安全计算，以防止数据泄露。CBNN框架可以在保证数据安全的前提下，实现高效的二值神经网络推理，具有重要的实际应用价值。

📄 摘要（原文）

Binarized Neural Networks (BNN) offer efficient implementations for machine learning tasks and facilitate Privacy-Preserving Machine Learning (PPML) by simplifying operations with binary values. Nevertheless, challenges persist in terms of communication and accuracy in their application scenarios. In this work, we introduce CBNN, a three-party secure computation framework tailored for efficient BNN inference. Leveraging knowledge distillation and separable convolutions, CBNN transforms standard BNNs into MPC-friendly customized BNNs, maintaining high utility. It performs secure inference using optimized protocols for basic operations. Specifically, CBNN enhances linear operations with replicated secret sharing and MPC-friendly convolutions, while introducing a novel secure activation function to optimize non-linear operations. We demonstrate the effectiveness of CBNN by transforming and securely implementing several typical BNN models. Experimental results indicate that CBNN maintains impressive performance even after customized binarization and security measures