PROFL: A Privacy-Preserving Federated Learning Method with Stringent Defense Against Poisoning Attacks

📄 arXiv: 2312.01045v1 📥 PDF

作者: Yisheng Zhong, Li-Ping Wang

分类: cs.CR, cs.AI, cs.LG

发布日期: 2023-12-02

💡 一句话要点

PROFL：一种具有严格防御投毒攻击的隐私保护联邦学习方法

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 联邦学习 隐私保护 投毒攻击 鲁棒性 同态加密

📋 核心要点

  1. 联邦学习面临隐私泄露和投毒攻击的双重挑战，现有方法难以同时保证隐私性和鲁棒性。
  2. PROFL利用同态加密和盲化技术保护用户隐私，并结合安全多Krum算法和基于统计的防御算法抵抗投毒攻击。
  3. 实验结果表明，PROFL在不同攻击场景下，相比现有隐私保护的鲁棒方法，准确率提升了39%到75%。

📝 摘要（中文）

联邦学习(FL)面临隐私泄露和投毒攻击两大问题，严重威胁系统的可靠性和安全性。同时克服这两个问题极具挑战性。这是因为隐私保护策略禁止访问用户的本地梯度以避免隐私泄露，而拜占庭鲁棒方法需要访问这些梯度以防御投毒攻击。为了解决这些问题，我们提出了一种新的隐私保护拜占庭鲁棒联邦学习框架PROFL。PROFL基于双陷门加法同态加密算法和盲化技术，确保整个FL过程的数据隐私。在防御过程中，PROFL首先利用安全的多Krum算法在用户级别消除恶意梯度。然后，根据Pauta准则，我们创新性地提出了一种基于统计的隐私保护防御算法，以消除特征级别的异常值干扰，并抵抗具有更强隐蔽性的冒充投毒攻击。详细的理论分析证明了该方法的安全性和效率。我们在两个基准数据集上进行了大量实验，与类似的隐私保护鲁棒方法相比，PROFL在不同的攻击设置下将准确率提高了39%到75%，证明了其在鲁棒性方面的显著优势。

🔬 方法详解

问题定义：联邦学习系统容易受到投毒攻击，攻击者通过上传恶意梯度来影响全局模型的性能。同时，为了保护用户隐私，服务器无法直接访问用户的本地梯度，这使得防御投毒攻击变得更加困难。现有的隐私保护联邦学习方法在防御投毒攻击方面的鲁棒性不足，容易受到攻击者的恶意干扰。

核心思路：PROFL的核心思路是在保护用户隐私的前提下，设计一种有效的防御机制来抵抗投毒攻击。该方法结合了同态加密、盲化技术、安全多Krum算法和基于统计的防御算法，从用户级别和特征级别两个层面来消除恶意梯度的影响。通过同态加密和盲化技术，服务器无法直接访问用户的本地梯度，从而保护了用户隐私。

技术框架：PROFL的整体框架包括以下几个主要阶段：1) 用户本地训练：每个用户使用本地数据训练模型，并计算本地梯度。2) 梯度加密和盲化：用户使用同态加密算法和盲化技术对本地梯度进行加密和盲化，以保护隐私。3) 梯度聚合：服务器收集来自用户的加密梯度，并使用同态加密算法进行聚合。4) 用户级别防御：服务器使用安全多Krum算法在用户级别消除恶意梯度。5) 特征级别防御：服务器根据Pauta准则，提出了一种基于统计的隐私保护防御算法，以消除特征级别的异常值干扰。6) 模型更新：服务器使用聚合后的梯度更新全局模型。7) 模型分发：服务器将更新后的全局模型分发给用户。

关键创新：PROFL的关键创新在于提出了一种基于统计的隐私保护防御算法，该算法可以在特征级别消除异常值干扰，并抵抗具有更强隐蔽性的冒充投毒攻击。与现有的方法相比，PROFL的防御算法不需要访问用户的本地梯度，从而更好地保护了用户隐私。此外，PROFL还结合了安全多Krum算法，从用户级别消除恶意梯度，进一步提高了系统的鲁棒性。

关键设计：PROFL的关键设计包括：1) 使用双陷门加法同态加密算法来保护用户梯度隐私。2) 使用盲化技术来防止服务器推断用户的本地数据。3) 使用安全多Krum算法来选择可靠的梯度进行聚合。4) 根据Pauta准则，计算每个特征的均值和标准差，并使用这些统计量来检测和消除异常值。5) 设计了一种隐私保护的统计量计算方法，以防止服务器泄露用户的隐私信息。

📊 实验亮点

实验结果表明，PROFL在两个基准数据集上都取得了显著的性能提升。与现有的隐私保护鲁棒方法相比，PROFL在不同的攻击设置下将准确率提高了39%到75%，证明了其在鲁棒性方面的显著优势。例如，在某个数据集上，当攻击者上传的恶意梯度比例为20%时，PROFL的准确率比现有方法高出50%以上。

🎯 应用场景

PROFL可应用于各种需要隐私保护和鲁棒性的联邦学习场景，例如金融风控、医疗诊断、智能交通等。该方法可以有效防止恶意攻击者通过上传恶意数据来破坏全局模型，同时保护用户的数据隐私。未来，PROFL可以进一步扩展到更复杂的联邦学习场景，例如非独立同分布数据、异构模型等。

📄 摘要（原文）

Federated Learning (FL) faces two major issues: privacy leakage and poisoning attacks, which may seriously undermine the reliability and security of the system. Overcoming them simultaneously poses a great challenge. This is because privacy protection policies prohibit access to users' local gradients to avoid privacy leakage, while Byzantine-robust methods necessitate access to these gradients to defend against poisoning attacks. To address these problems, we propose a novel privacy-preserving Byzantine-robust FL framework PROFL. PROFL is based on the two-trapdoor additional homomorphic encryption algorithm and blinding techniques to ensure the data privacy of the entire FL process. During the defense process, PROFL first utilize secure Multi-Krum algorithm to remove malicious gradients at the user level. Then, according to the Pauta criterion, we innovatively propose a statistic-based privacy-preserving defense algorithm to eliminate outlier interference at the feature level and resist impersonation poisoning attacks with stronger concealment. Detailed theoretical analysis proves the security and efficiency of the proposed method. We conducted extensive experiments on two benchmark datasets, and PROFL improved accuracy by 39% to 75% across different attack settings compared to similar privacy-preserving robust methods, demonstrating its significant advantage in robustness.