Differentially Private Optimization for Non-Decomposable Objective Functions

📄 arXiv: 2310.03104v2 📥 PDF

作者: Weiwei Kong, Andrés Muñoz Medina, Mónica Ribero

分类: cs.LG, cs.CR

发布日期: 2023-10-04 (更新: 2025-02-20)

💡 一句话要点

提出一种新型DP-SGD变体以解决相似性损失函数的隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 优化算法 对比损失 计算机视觉 无监督学习 深度学习 模型训练

📋 核心要点

  1. 现有方法在使用相似性损失函数时，L2敏感性随着批量大小的增加而增长，影响差分隐私训练效果。
  2. 本文提出了一种新型DP-SGD变体，通过新颖的梯度操控方法，使得总梯度的敏感性保持在O(1)。
  3. 实验结果表明，该方法在CIFAR-10和CIFAR-100任务中表现接近非隐私模型，且优于传统DP-SGD。

📝 摘要（中文）

无监督预训练是计算机视觉模型和大型语言模型开发中的常见步骤。在这一过程中，由于缺乏标签，通常使用基于相似性的损失函数，如对比损失，这些损失函数旨在最小化相似输入之间的距离并最大化不同输入之间的距离。随着隐私问题的日益严重，使用差分隐私训练这些模型变得愈发重要。然而，由于输入生成方式的影响，这些损失函数的L2敏感性随着批量大小的增加而增长，这对差分隐私训练方法（如DP-SGD）造成了不利影响。为了解决这一问题，本文提出了一种新的DP-SGD变体，针对相似性损失函数，特别是常用的对比损失，通过新颖的方式操控目标函数的梯度，使得总梯度的敏感性在批量大小n下为O(1)。我们在CIFAR-10预训练和CIFAR-100微调任务上测试了该变体，结果显示其性能接近非隐私模型，并且通常优于直接应用于对比损失的DP-SGD。

🔬 方法详解

问题定义：本文旨在解决在使用相似性损失函数（如对比损失）进行差分隐私训练时，L2敏感性随批量大小增加而增长的问题。这一现象对DP-SGD等差分隐私训练方法造成了显著影响，限制了模型的隐私保护能力和训练效果。

核心思路：论文提出了一种新型的DP-SGD变体，通过对目标函数梯度的创新性操控，确保在批量大小n下，总梯度的敏感性为O(1)。这一设计旨在降低隐私训练过程中的敏感性，提高模型的训练效率和隐私保护能力。

技术框架：该方法的整体架构包括数据预处理、梯度计算、梯度操控和模型更新四个主要模块。在数据预处理阶段，输入数据被适当处理以适应相似性损失函数的需求；在梯度计算阶段，计算相似性损失的梯度；接着，通过创新的梯度操控方法调整梯度，最后进行模型参数的更新。

关键创新：最重要的技术创新点在于通过新颖的梯度操控方法，使得总梯度的敏感性保持在O(1)，这与传统方法在批量大小增加时敏感性增长的本质区别显著。

关键设计：在参数设置上，本文对批量大小、学习率等进行了优化，确保模型在训练过程中能够有效地平衡隐私保护与性能表现。同时，损失函数的设计也经过精心调整，以适应新的梯度操控方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的DP-SGD变体在CIFAR-10预训练和CIFAR-100微调任务中，性能接近非隐私模型，且在多个实验中均优于直接应用于对比损失的DP-SGD，展示了显著的提升效果。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等需要无监督学习的任务，尤其是在隐私保护日益重要的场景中。通过提高差分隐私训练的有效性，该方法能够为开发更安全的AI模型提供支持，未来可能在医疗、金融等敏感数据处理领域产生深远影响。

📄 摘要（原文）

Unsupervised pre-training is a common step in developing computer vision models and large language models. In this setting, the absence of labels requires the use of similarity-based loss functions, such as contrastive loss, that favor minimizing the distance between similar inputs and maximizing the distance between distinct inputs. As privacy concerns mount, training these models using differential privacy has become more important. However, due to how inputs are generated for these losses, one of their undesirable properties is that their $L_2$ sensitivity grows with the batch size. This property is particularly disadvantageous for differentially private training methods, such as DP-SGD. To overcome this issue, we develop a new DP-SGD variant for similarity based loss functions -- in particular, the commonly-used contrastive loss -- that manipulates gradients of the objective function in a novel way to obtain a sensitivity of the summed gradient that is $O(1)$ for batch size $n$. We test our DP-SGD variant on some CIFAR-10 pre-training and CIFAR-100 finetuning tasks and show that, in both tasks, our method's performance comes close to that of a non-private model and generally outperforms DP-SGD applied directly to the contrastive loss.