Efficient Privacy-Preserving KAN Inference Using Homomorphic Encryption

📄 arXiv: 2409.07751v1 📥 PDF

作者: Zhizheng Lai, Yufei Zhou, Peijia Zheng, Lin Chen

分类: cs.LG, cs.CR

发布日期: 2024-09-12

💡 一句话要点

提出一种高效的同态加密KAN推理方案，解决隐私保护问题。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 同态加密 隐私保护推理 Kolmogorov-Arnold Networks SiLU激活函数 B样条函数 多项式近似 重复打包

📋 核心要点

  1. KAN推理面临隐私泄露风险，现有隐私保护技术难以应对其复杂的非线性结构。
  2. 针对KAN的特点，设计任务相关的SiLU激活函数多项式近似和高效的B样条函数计算方法。
  3. 实验表明，该方案在保证精度的前提下，显著提升了隐私保护KAN推理的效率，优于传统方法。

📝 摘要（中文）

本文提出了一种高效且保护隐私的KAN（Kolmogorov-Arnold Networks）推理方案。KANs具有更强的可解释性和模型表达能力，但也带来了推理过程中的隐私泄露问题。同态加密（HE）能够为深度学习模型提供隐私保护推理，使用户在资源受限的情况下也能安全地利用深度学习服务。然而，KANs复杂的结构，如SiLU激活函数和B样条函数等非线性元素，使得现有的隐私保护推理技术难以应用。为了解决这个问题，我们为KANs量身定制了一种精确而高效的隐私保护推理方案。该方案为SiLU激活函数引入了任务特定的多项式近似，动态调整近似范围以确保在真实数据集上的高精度。此外，我们还开发了一种在HE域中计算B样条函数的高效方法，利用了重复打包、惰性组合和比较函数等技术。我们在符号公式评估和图像分类上评估了隐私保护KAN推理方案的有效性。实验结果表明，我们的模型在各种数据集上实现了与明文KANs相当的精度，并且优于明文MLPs。此外，在CIFAR-10数据集上，我们的推理延迟比naive方法快7倍以上。

🔬 方法详解

问题定义：论文旨在解决在Kolmogorov-Arnold Networks (KANs) 推理过程中存在的隐私泄露问题。现有的隐私保护推理技术，特别是基于同态加密（HE）的方法，难以直接应用于KANs，因为KANs包含复杂的非线性操作，例如SiLU激活函数和B样条函数，这些操作在HE域中的计算成本很高，或者精度难以保证。

核心思路：论文的核心思路是针对KANs的特定结构，设计高效且精确的同态加密友好的计算方法。具体来说，针对SiLU激活函数，采用任务特定的多项式近似，并动态调整近似范围以保证精度；针对B样条函数，利用重复打包、惰性组合和比较函数等技术，优化HE域中的计算过程。这样可以在保证推理精度的前提下，显著降低计算复杂度，提高推理效率。

技术框架：整体框架包括以下几个主要阶段：1) KAN模型的训练，得到明文模型参数；2) 将模型参数进行同态加密；3) 在同态加密域中进行推理，包括SiLU激活函数的多项式近似计算和B样条函数的计算；4) 将推理结果解密，得到最终的预测结果。关键模块包括：SiLU激活函数近似模块和B样条函数计算模块。

关键创新：论文的关键创新在于针对KANs的特定结构，提出了两种高效的同态加密友好的计算方法：1) 任务特定的SiLU激活函数多项式近似，通过动态调整近似范围，在保证精度的前提下，降低了多项式计算的阶数；2) 基于重复打包、惰性组合和比较函数等技术的B样条函数高效计算方法，显著降低了HE域中的计算复杂度。

关键设计：在SiLU激活函数近似方面，关键在于确定多项式近似的阶数和近似范围。论文采用任务特定的方法，根据数据集的特点动态调整近似范围，以保证精度。在B样条函数计算方面，关键在于利用重复打包技术，将多个B样条函数的计算打包成一个HE操作，从而减少了HE操作的数量。此外，惰性组合技术可以延迟一些计算，直到需要时才进行，从而进一步降低计算复杂度。比较函数的设计也至关重要，它用于确定输入值位于哪个B样条函数的区间内。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方案在符号公式评估和图像分类任务上均取得了良好的效果。在CIFAR-10数据集上，该方案的推理精度与明文KANs相当，并且优于明文MLPs。更重要的是，该方案的推理延迟比naive方法快7倍以上，证明了其高效性。

🎯 应用场景

该研究成果可应用于对隐私保护有较高要求的场景，例如医疗诊断、金融风控等。用户可以在不泄露自身数据的情况下，利用云端的KAN模型进行推理，从而获得个性化的服务。该技术的发展有助于推动安全多方计算和联邦学习等领域的发展，促进数据共享和协作。

📄 摘要（原文）

The recently proposed Kolmogorov-Arnold Networks (KANs) offer enhanced interpretability and greater model expressiveness. However, KANs also present challenges related to privacy leakage during inference. Homomorphic encryption (HE) facilitates privacy-preserving inference for deep learning models, enabling resource-limited users to benefit from deep learning services while ensuring data security. Yet, the complex structure of KANs, incorporating nonlinear elements like the SiLU activation function and B-spline functions, renders existing privacy-preserving inference techniques inadequate. To address this issue, we propose an accurate and efficient privacy-preserving inference scheme tailored for KANs. Our approach introduces a task-specific polynomial approximation for the SiLU activation function, dynamically adjusting the approximation range to ensure high accuracy on real-world datasets. Additionally, we develop an efficient method for computing B-spline functions within the HE domain, leveraging techniques such as repeat packing, lazy combination, and comparison functions. We evaluate the effectiveness of our privacy-preserving KAN inference scheme on both symbolic formula evaluation and image classification. The experimental results show that our model achieves accuracy comparable to plaintext KANs across various datasets and outperforms plaintext MLPs. Additionally, on the CIFAR-10 dataset, our inference latency achieves over 7 times speedup compared to the naive method.