Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference
作者: Rui Li, Wenyuan Wu, Weijie Miao
分类: cs.CR, cs.LG
发布日期: 2026-05-21
备注: 13 pages, 2 figures
💡 一句话要点
提出决策感知的二次ReLU替代方法，加速同态加密友好的神经网络推理。
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)
关键词: 全同态加密 ReLU替换 决策感知 二次多项式 凸优化
📋 核心要点
- 现有FHE神经网络推理使用高次多项式近似ReLU，计算成本高昂，且忽略了最终决策的重要性。
- 论文提出决策感知的二次ReLU替代方法，旨在用低次多项式在保证决策结果不变的前提下替换ReLU。
- 实验表明，该方法在CKKS下能匹配明文精度，并显著加速激活模块和端到端的推理速度。
📝 摘要（中文）
全同态加密（FHE）仅支持加法和乘法，因此纯FHE神经网络推理通常用在经验激活区间上拟合的多项式替换ReLU。这种区间拟合通常需要更高次的多项式来控制激活误差，从而导致同态评估成本增加，而分类是由最终的logit决策决定的。本文从决策感知的角度重新审视ReLU替换：给定一个训练好的单隐藏层ReLU MLP和一个指定的校准集，是否可以在不重新训练的情况下，用一个FHE友好的低次多项式替换ReLU，同时保持校准集的决策？本文重点研究二次替换，这是保留真正逐单元非线性的最低次数选择。对于在提升空间中正间隔可分的校准集，本文将二次替换公式化为一个线性分离问题，从而得出校准无损替换的充要条件和系数的构造算法。当正间隔条件失败时（通常由于一些错误分类的校准样本），本文通过缩减凸包和拉格朗日对偶软间隔松弛来扩展相同的几何框架，从而限制任何单个样本的影响，将问题转化为更小的凸二次规划问题，从而产生在校准集决策上具有高度经验一致性的近似可行系数。特别地，在最大权重上限μ=1时，缩减凸包松弛简化为严格可分情况下的凸包分离；因此，该松弛连续地扩展了精确理论。在CKKS下，二次替换在多个基准测试中匹配了明文top-1准确率，在激活模块中比Remez-7快3.7-4.1倍，端到端快1.18-1.68倍。
🔬 方法详解
问题定义：论文旨在解决全同态加密（FHE）神经网络推理中，使用高次多项式近似ReLU带来的计算开销问题。现有方法通常采用区间拟合的方式，使用高次多项式来降低激活误差，但忽略了最终分类决策的正确性，导致计算效率低下。
核心思路：论文的核心思路是从“决策感知”的角度出发，寻找一个低次（二次）多项式来替代ReLU，目标是保证在给定的校准集上，替换后的神经网络的分类决策与原始ReLU网络的分类决策保持一致。这样可以在保证精度的前提下，显著降低FHE的计算复杂度。
技术框架：论文的技术框架主要包括以下几个阶段：1) 正间隔可分情况：将二次ReLU替换问题转化为线性分离问题，推导出校准无损替换的充要条件，并提出系数的构造算法。2) 正间隔不可分情况：通过缩减凸包和拉格朗日对偶软间隔松弛，将问题转化为更小的凸二次规划问题，寻找近似可行的系数。3) CKKS下的实现与评估：在CKKS加密方案下实现该方法，并在多个基准数据集上进行评估。
关键创新：论文最重要的技术创新点在于提出了“决策感知”的ReLU替换策略。与传统的关注激活误差的替换方法不同，该方法直接优化最终的分类决策，从而可以使用更低次的多项式，显著降低计算复杂度。此外，论文还提出了针对正间隔不可分情况的缩减凸包和软间隔松弛方法，提高了算法的鲁棒性。
关键设计：论文的关键设计包括：1) 二次多项式的选择：选择二次多项式作为ReLU的替代，这是保持非线性的最低次数选择，可以在计算复杂度和表达能力之间取得平衡。2) 校准集的使用：使用校准集来评估和优化替换后的神经网络的决策精度。3) 凸优化问题的构建：将ReLU替换问题转化为凸优化问题，可以使用高效的凸优化算法求解。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多个基准测试中匹配了明文top-1准确率。在激活模块中，该方法比Remez-7多项式近似方法快3.7-4.1倍，端到端推理速度提升1.18-1.68倍。这些结果表明，该方法在保证精度的前提下，显著降低了FHE神经网络的计算复杂度。
🎯 应用场景
该研究成果可应用于对隐私保护要求高的场景，例如医疗诊断、金融风控等。在这些场景中，需要在不泄露用户数据的前提下，利用神经网络进行推理。通过使用该方法，可以加速FHE神经网络的推理速度，使其在实际应用中更具可行性，从而保护用户隐私。
📄 摘要（原文）
Fully homomorphic encryption (FHE) supports only additions and multiplications, so FHE-only neural-network inference typically replaces ReLU with polynomials fitted over empirical activation intervals. Such interval fitting often requires higher-degree polynomials to control activation error, incurring homomorphic evaluation costs, while classification is determined by the final logit decision. We revisit ReLU replacement from a decision-aware perspective: given a trained single-hidden-layer ReLU MLP and a specified calibration set, can an HE-friendly low-degree polynomial replace ReLU without retraining while preserving calibration-set decisions? We focus on quadratic replacement, the lowest-degree choice that retains a genuine per-unit nonlinearity. For calibration sets positive-margin separable in the lifted space, we formulate quadratic replacement as a linear separation problem, yielding necessary and sufficient conditions for calibration-lossless replacement and a constructive algorithm for the coefficients. When the positive-margin condition fails -- typically due to a few misclassified calibration samples -- we extend the same geometric framework via reduced convex hulls and Lagrangian-dual soft-margin relaxations, which bound the influence of any single sample, converting the problem into smaller convex quadratic programs that yield approximately feasible coefficients with high empirical agreement on calibration-set decisions. In particular, at the maximal weight cap $μ=1$, the reduced-convex-hull relaxation reduces to the convex-hull separation of the strictly separable case; the relaxation thus continuously extends the exact theory. Under CKKS, the quadratic replacement matches plaintext top-1 accuracy on multiple benchmarks, running 3.7--4.1$\times$ faster than Remez-7 in the activation module and 1.18--1.68$\times$ faster end-to-end.