DDP-SA: Scalable Privacy-Preserving Federated Learning via Distributed Differential Privacy and Secure Aggregation
作者: Wenjing Wei, Farid Nait-Abdesselam, Alla Jammine
分类: cs.CR, cs.LG
发布日期: 2026-04-08
💡 一句话要点
提出DDP-SA框架,通过分布式差分隐私和安全聚合实现可扩展的隐私保护联邦学习。
🎯 匹配领域: 支柱一:机器人控制 (Robot Control)
关键词: 联邦学习 差分隐私 安全聚合 隐私保护 分布式学习
📋 核心要点
- 现有联邦学习方法在隐私保护方面存在不足,或依赖单一技术,难以在隐私性和计算效率之间取得平衡。
- DDP-SA框架结合本地差分隐私和安全聚合,通过两阶段保护机制,增强隐私保护强度,同时保证计算可行性。
- 实验结果表明,DDP-SA在提供更强隐私保护的同时,比单独使用本地差分隐私实现了更高的模型精度。
📝 摘要(中文)
本文提出了一种可扩展的隐私保护联邦学习框架DDP-SA,该框架联合利用客户端本地差分隐私(LDP)和全阈值加性秘密共享(ASS)进行安全聚合。与仅依赖差分隐私或安全多方计算(MPC)的现有方法不同,DDP-SA集成了这两种技术,以提供更强的端到端隐私保证,同时保持计算上的可行性。该框架引入了一种两阶段保护机制:客户端首先使用校准的拉普拉斯噪声扰动其本地梯度,然后将带噪梯度分解为加性秘密份额,这些份额分布在多个中间服务器上。这种设计确保了(i)没有单个受损服务器或通信通道可以泄露有关单个客户端更新的任何信息,并且(ii)参数服务器仅重建聚合的带噪梯度,而绝不会重建任何客户端特定的贡献。大量实验表明,DDP-SA比独立的LDP实现了更高的模型精度,同时提供了比仅MPC方法更强的隐私保护。所提出的框架随参与者数量线性扩展,并为具有可控计算和通信开销的联邦学习应用提供了一种实用的隐私保护解决方案。
🔬 方法详解
问题定义:联邦学习面临着保护用户数据隐私的挑战。现有方法,如仅使用差分隐私,可能导致模型精度显著下降;而仅依赖安全多方计算,则可能面临计算开销过大的问题,难以扩展到大规模用户场景。因此,如何在保证隐私的同时,维持模型精度和计算效率,是一个亟待解决的问题。
核心思路:DDP-SA的核心思路是将本地差分隐私(LDP)和安全聚合(SA)结合起来,形成一个两阶段的隐私保护机制。首先,使用LDP对客户端的本地梯度进行扰动,增加数据的不确定性;然后,使用SA将扰动后的梯度分解成秘密份额,分散存储在多个服务器上。这样,即使部分服务器被攻破,也无法恢复原始梯度信息。
技术框架:DDP-SA框架包含以下几个主要阶段:1) 客户端本地扰动:每个客户端使用LDP机制,向其本地梯度添加拉普拉斯噪声。2) 秘密份额分解:客户端将扰动后的梯度分解成多个秘密份额,每个份额都是原始梯度的一部分。3) 份额分发:客户端将这些秘密份额分发给多个中间服务器。4) 安全聚合:中间服务器对收到的秘密份额进行聚合,得到聚合后的带噪梯度。5) 模型更新:参数服务器使用聚合后的带噪梯度更新全局模型。
关键创新:DDP-SA的关键创新在于将LDP和SA两种隐私保护技术结合起来,形成一个互补的保护机制。LDP提供本地隐私保护,防止单个客户端的数据被泄露;SA则提供聚合隐私保护,防止聚合后的梯度泄露全局信息。这种结合使得DDP-SA能够提供更强的端到端隐私保证。
关键设计:DDP-SA的关键设计包括:1) 拉普拉斯噪声的校准:根据隐私预算和数据敏感度,选择合适的拉普拉斯噪声参数,以平衡隐私保护和模型精度。2) 秘密份额的生成和分发:使用全阈值加性秘密共享(ASS)算法,生成和分发秘密份额,确保只有在足够多的服务器联合的情况下,才能恢复原始梯度。3) 服务器的数量:选择合适的服务器数量,以平衡计算开销和安全性。
🖼️ 关键图片
📊 实验亮点
实验结果表明,DDP-SA框架在保证隐私保护的前提下,能够实现较高的模型精度。与单独使用LDP相比,DDP-SA显著提高了模型精度,尤其是在高隐私预算下。此外,DDP-SA的计算开销与参与者数量呈线性关系,具有良好的可扩展性。该框架在MNIST和CIFAR-10数据集上进行了验证,结果表明其性能优于现有的隐私保护联邦学习方法。
🎯 应用场景
DDP-SA框架适用于各种需要保护用户数据隐私的联邦学习应用场景,例如:医疗健康领域,可以用于训练疾病预测模型,而无需共享患者的敏感数据;金融领域,可以用于构建信用评分模型,而无需泄露用户的财务信息;物联网领域,可以用于优化设备性能,而无需收集用户的个人行为数据。该框架具有良好的可扩展性,可以支持大规模用户参与,为隐私保护的联邦学习应用提供了新的可能性。
📄 摘要(原文)
This article presents DDP-SA, a scalable privacy-preserving federated learning framework that jointly leverages client-side local differential privacy (LDP) and full-threshold additive secret sharing (ASS) for secure aggregation. Unlike existing methods that rely solely on differential privacy or on secure multi-party computation (MPC), DDP-SA integrates both techniques to deliver stronger end-to-end privacy guarantees while remaining computationally practical. The framework introduces a two-stage protection mechanism: clients first perturb their local gradients with calibrated Laplace noise, then decompose the noisy gradients into additive secret shares that are distributed across multiple intermediate servers. This design ensures that (i) no single compromised server or communication channel can reveal any information about individual client updates, and (ii) the parameter server reconstructs only the aggregated noisy gradient, never any client-specific contribution. Extensive experiments show that DDP-SA achieves substantially higher model accuracy than standalone LDP while providing stronger privacy protection than MPC-only approaches. The proposed framework scales linearly with the number of participants and offers a practical, privacy-preserving solution for federated learning applications with controllable computational and communication overhead.