DOPPLER: Differentially Private Optimizers with Low-pass Filter for Privacy Noise Reduction

📄 arXiv: 2408.13460v1 📥 PDF

作者: Xinwei Zhang, Zhiqi Bu, Mingyi Hong, Meisam Razaviyayn

分类: cs.LG, cs.CR, stat.ML

发布日期: 2024-08-24

💡 一句话要点

提出DOPPLER：一种基于低通滤波的差分隐私优化器，用于降低隐私噪声的影响。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 低通滤波 优化器 信号处理 隐私保护

📋 核心要点

  1. DPSGD等差分隐私优化器虽然能保护数据隐私，但常导致模型性能显著下降，限制了其应用。
  2. 论文提出DOPPLER，通过低通滤波在频域内放大梯度信号、抑制隐私噪声，从而提升模型性能。
  3. 实验表明，DOPPLER能显著提升DP模型的测试精度，在多个数据集上优于现有方法3%-10%。

📝 摘要（中文）

差分隐私(DP)训练旨在防止训练数据中的敏感信息泄露。DP随机梯度下降(DPSGD)及其变体通过梯度裁剪和DP噪声注入来实现隐私保护。然而，DPSGD训练的DP模型性能通常显著下降，阻碍了其在预训练等关键任务中的应用。本文从信号处理角度分析DP优化器，提出低通滤波可有效降低DP噪声的影响。通过定义梯度和DP噪声的“频域”，开发了DOPPLER组件，在频域内放大梯度、抑制噪声，从而在保证隐私的同时提升模型质量。实验表明，带有低通滤波器的DP优化器在各种模型和数据集上的测试精度比没有滤波器的优化器高3%-10%。理论和实践均表明DOPPLER能有效缩小DP训练和非DP训练之间的差距。

🔬 方法详解

问题定义：论文旨在解决差分隐私训练中，由于噪声注入导致的模型性能显著下降问题。现有的DPSGD及其变体虽然能提供隐私保护，但梯度裁剪和噪声注入会严重影响模型的收敛速度和最终性能，尤其是在大规模数据集和复杂模型上，性能损失更为明显。

核心思路：论文的核心思路是将梯度和差分隐私噪声视为信号，并借鉴信号处理中的低通滤波思想。认为梯度中包含有用的低频信息，而噪声可能分布在整个频段。通过设计一个低通滤波器，可以放大梯度中的低频信号，同时抑制噪声，从而提高信噪比，改善模型性能。

技术框架：DOPPLER作为一个组件，可以嵌入到现有的DP优化器中，例如DPSGD。其主要流程包括：1）计算梯度；2）对梯度进行频域变换（例如，傅里叶变换）；3）应用低通滤波器，放大低频梯度分量，抑制高频噪声分量；4）将滤波后的梯度变换回时域；5）进行梯度裁剪；6）注入差分隐私噪声；7）更新模型参数。

关键创新：论文的关键创新在于将信号处理的视角引入到差分隐私优化器的设计中，并提出了DOPPLER这一低通滤波组件。与传统的DP优化器相比，DOPPLER不是简单地对梯度进行裁剪和加噪，而是有选择性地保留有用的梯度信息，抑制噪声，从而在保证隐私的同时，提升模型性能。

关键设计：DOPPLER的关键设计包括：1）选择合适的频域变换方法，例如傅里叶变换或小波变换；2）设计低通滤波器的截止频率和滤波器类型（例如，巴特沃斯滤波器、切比雪夫滤波器等）。截止频率的选择需要根据数据集和模型的特性进行调整，以平衡梯度信号的保留和噪声的抑制。此外，梯度裁剪的阈值和噪声的尺度也需要根据差分隐私的要求进行设置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在各种模型和数据集上，带有DOPPLER的DP优化器在测试精度上比没有DOPPLER的优化器提高了3%-10%。例如，在图像分类任务中，使用DOPPLER的DPSGD在保证相同隐私预算的情况下，能够达到更高的精度，显著缩小了DP训练和非DP训练之间的性能差距。

🎯 应用场景

DOPPLER可应用于各种需要差分隐私保护的机器学习任务，例如联邦学习、医疗数据分析、金融风控等。尤其是在预训练大模型等对性能要求较高的场景下，DOPPLER能有效提升DP模型的性能，使其更具实用价值。该研究有助于推动差分隐私技术在实际应用中的普及。

📄 摘要（原文）

Privacy is a growing concern in modern deep-learning systems and applications. Differentially private (DP) training prevents the leakage of sensitive information in the collected training data from the trained machine learning models. DP optimizers, including DP stochastic gradient descent (DPSGD) and its variants, privatize the training procedure by gradient clipping and DP noise injection. However, in practice, DP models trained using DPSGD and its variants often suffer from significant model performance degradation. Such degradation prevents the application of DP optimization in many key tasks, such as foundation model pretraining. In this paper, we provide a novel signal processing perspective to the design and analysis of DP optimizers. We show that a frequency domain'' operation called low-pass filtering can be used to effectively reduce the impact of DP noise. More specifically, by defining thefrequency domain'' for both the gradient and differential privacy (DP) noise, we have developed a new component, called DOPPLER. This component is designed for DP algorithms and works by effectively amplifying the gradient while suppressing DP noise within this frequency domain. As a result, it maintains privacy guarantees and enhances the quality of the DP-protected model. Our experiments show that the proposed DP optimizers with a low-pass filter outperform their counterparts without the filter by 3%-10% in test accuracy on various models and datasets. Both theoretical and practical evidence suggest that the DOPPLER is effective in closing the gap between DP and non-DP training.