Secure Federated Data Distillation
作者: Marco Arazzi, Mert Cihangiroglu, Serena Nicolazzo, Antonino Nocera
分类: cs.CR, cs.AI
发布日期: 2025-02-19 (更新: 2025-03-06)
💡 一句话要点
提出安全联邦数据蒸馏框架SFDD，在保护隐私的同时实现数据集的去中心化蒸馏。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 联邦学习 数据集蒸馏 隐私保护 差分隐私 梯度匹配
📋 核心要点
- 传统数据集蒸馏方法依赖中心化数据，存在隐私泄露风险，限制了其在敏感数据场景的应用。
- SFDD框架通过联邦学习实现去中心化蒸馏，客户端在本地贡献梯度更新，中央服务器聚合生成合成数据集，无需共享原始数据。
- 实验结果表明，SFDD在保证隐私的同时，能够有效缓解漏洞，并且对蒸馏数据集的性能影响很小。
📝 摘要（中文）
数据集蒸馏(DD)是一种强大的技术，可以将大型数据集缩减为紧凑的、具有代表性的合成数据集，从而加速机器学习训练。然而，传统的DD方法以中心化的方式运行，这带来了显著的隐私威胁并降低了其适用性。为了缓解这些风险，我们提出了一种安全联邦数据蒸馏(SFDD)框架，以在保护隐私的同时实现蒸馏过程的去中心化。与现有的侧重于使用蒸馏知识训练全局模型的联邦蒸馏技术不同，我们的方法旨在生成一个蒸馏数据集，而不暴露本地贡献。我们利用基于梯度匹配的蒸馏方法，并将其调整为分布式环境，在该环境中，客户端在不共享原始数据的情况下为蒸馏过程做出贡献。中央聚合器通过整合客户端的更新来迭代地改进合成数据集，同时确保数据机密性。为了使我们的方法能够抵御服务器执行的推理攻击，这些攻击可能会利用梯度更新来重建私有数据，我们创建了一种优化的局部差分隐私方法，称为LDPO-RLD。此外，我们评估了该框架在恶意客户端执行后门攻击（如Doorping）时的弹性，并在参与客户端数量充足的假设下展示了鲁棒性。我们的实验结果表明了SFDD的有效性，并且所提出的防御措施能够具体地缓解已识别的漏洞，同时对蒸馏数据集的性能影响最小。通过解决数据集蒸馏中隐私和联邦之间的相互作用，这项工作推进了隐私保护机器学习领域，使我们的SFDD框架成为敏感数据共享应用的可行解决方案。
🔬 方法详解
问题定义：论文旨在解决在保护用户数据隐私的前提下，如何进行联邦数据集蒸馏的问题。传统的数据集蒸馏方法需要将所有数据集中到中央服务器，这带来了严重的隐私风险，尤其是在处理敏感数据时。现有的联邦学习方法主要关注模型训练，而忽略了数据集本身的隐私保护，无法直接应用于数据集蒸馏。
核心思路：论文的核心思路是将数据集蒸馏过程联邦化，让各个客户端在本地进行梯度计算，并将梯度信息发送到中央服务器进行聚合。中央服务器利用聚合后的梯度信息更新合成数据集，而无需访问客户端的原始数据。为了进一步增强隐私保护，论文还引入了局部差分隐私机制，防止服务器通过梯度信息推断出客户端的私有数据。
技术框架：SFDD框架包含以下几个主要模块： 1. 客户端本地计算：每个客户端使用本地数据计算梯度，并添加噪声以满足局部差分隐私。 2. 中央服务器聚合：中央服务器接收来自各个客户端的梯度信息，并进行聚合。 3. 合成数据集更新：中央服务器使用聚合后的梯度信息更新合成数据集。 4. 模型训练与评估：使用合成数据集训练模型，并评估其性能。
关键创新：论文的关键创新在于将联邦学习和局部差分隐私相结合，实现了一种安全的数据集蒸馏方法。具体来说，论文提出了一种优化的局部差分隐私方法（LDPO-RLD），能够在保证隐私的同时，尽可能地减少噪声对模型性能的影响。此外，论文还分析了SFDD框架在面对恶意客户端攻击时的鲁棒性。
关键设计：LDPO-RLD通过调整噪声的尺度和裁剪范围，来优化隐私保护和模型性能之间的平衡。论文还设计了一种机制来检测和防御恶意客户端的后门攻击。损失函数采用梯度匹配损失，旨在使合成数据集训练的模型与原始数据集训练的模型具有相似的梯度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SFDD框架能够在保证隐私的前提下，生成高质量的合成数据集。与传统的中心化数据集蒸馏方法相比，SFDD在性能上略有下降，但能够有效地保护用户隐私。此外，实验还验证了LDPO-RLD的有效性，以及SFDD框架在面对恶意客户端攻击时的鲁棒性。例如，在CIFAR-10数据集上，使用SFDD生成的合成数据集训练的模型，其准确率仅比使用原始数据集训练的模型低几个百分点。
🎯 应用场景
SFDD框架可应用于医疗、金融等涉及敏感数据的领域，在保护用户隐私的前提下，实现数据集的共享和利用。例如，不同医院可以利用SFDD框架共同构建一个用于疾病诊断的合成数据集，而无需共享患者的病历信息。该框架还可以用于训练自动驾驶汽车的仿真环境，保护用户的驾驶数据。
📄 摘要（原文）
Dataset Distillation (DD) is a powerful technique for reducing large datasets into compact, representative synthetic datasets, accelerating Machine Learning training. However, traditional DD methods operate in a centralized manner, which poses significant privacy threats and reduces its applicability. To mitigate these risks, we propose a Secure Federated Data Distillation (SFDD) framework to decentralize the distillation process while preserving privacy. Unlike existing Federated Distillation techniques that focus on training global models with distilled knowledge, our approach aims to produce a distilled dataset without exposing local contributions. We leverage the gradient-matching-based distillation method, adapting it for a distributed setting where clients contribute to the distillation process without sharing raw data. The central aggregator iteratively refines a synthetic dataset by integrating client-side updates while ensuring data confidentiality. To make our approach resilient to inference attacks perpetrated by the server that could exploit gradient updates to reconstruct private data, we create an optimized Local Differential Privacy approach, called LDPO-RLD. Furthermore, we assess the framework's resilience against malicious clients executing backdoor attacks (such as Doorping) and demonstrate robustness under the assumption of a sufficient number of participating clients. Our experimental results demonstrate the effectiveness of SFDD and that the proposed defense concretely mitigates the identified vulnerabilities, with minimal impact on the performance of the distilled dataset. By addressing the interplay between privacy and federation in dataset distillation, this work advances the field of privacy-preserving Machine Learning making our SFDD framework a viable solution for sensitive data-sharing applications.