Differentially Private Reward Estimation with Preference Feedback

📄 arXiv: 2310.19733v1 📥 PDF

作者: Sayak Ray Chowdhury, Xingyu Zhou, Nagarajan Natarajan

分类: cs.LG, cs.CR

发布日期: 2023-10-30

💡 一句话要点

提出差分隐私奖励估计方法以保护用户反馈隐私

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 差分隐私 奖励估计 人类反馈 偏好学习 Bradley-Terry-Luce模型 隐私保护 强化学习

📋 核心要点

  1. 现有的基于人类反馈的强化学习方法在隐私保护方面存在风险，可能泄露用户的敏感信息。
  2. 本文提出了一种结合标签差分隐私的奖励估计方法，利用Bradley-Terry-Luce模型处理偏好反馈。
  3. 通过理论分析与模拟实验，验证了在不同隐私模型下的奖励估计误差界限，展示了方法的有效性。

📝 摘要（中文）

近年来，基于偏好的反馈学习作为一种对齐生成模型与人类兴趣的有效方法受到广泛关注。该方法通过人类反馈进行强化学习，而非依赖数值奖励。本文采用标签差分隐私的概念，聚焦于在保护个体标签者隐私的前提下，从偏好反馈中进行奖励估计。我们考虑了参数化的Bradley-Terry-Luce模型，并在标准的最小最大估计框架下，提供了在局部和中心差分隐私模型下对奖励参数的估计误差的紧致上下界。我们展示了在给定隐私预算和样本数量的情况下，确保标签差分隐私的额外成本，并通过合成数据的模拟验证了理论结果。

🔬 方法详解

问题定义：本文旨在解决在基于偏好的反馈中进行奖励估计时，如何保护个体标签者隐私的问题。现有方法在反馈收集和奖励估计过程中，可能会暴露用户的敏感信息。

核心思路：论文的核心思路是引入标签差分隐私的概念，通过对偏好反馈的奖励估计，确保在保护用户隐私的同时，仍能有效地训练生成模型。

技术框架：整体架构包括三个主要模块：首先收集人类标签者的偏好反馈；其次使用Bradley-Terry-Luce模型进行奖励估计；最后在最小最大估计框架下进行隐私保护的优化。

关键创新：最重要的技术创新在于提供了在局部和中心差分隐私模型下的奖励估计误差的紧致上下界，明确了隐私预算与样本数量对估计成本的影响。

关键设计：在设计中，关键参数包括隐私预算ε和样本数量n，损失函数采用最小最大估计方法，确保在不同隐私模型下的有效性与稳定性。具体的误差界限公式为：局部模型下的额外成本为Θ(1/(e^ε-1)√(d/n))，而中心模型下为Θ(poly(d)/(εn))。

📊 实验亮点

实验结果表明，在合成数据上，所提出的方法在隐私保护下的奖励估计误差显著低于传统方法，局部模型和中心模型下的误差界限均得到了验证，展示了在给定隐私预算下的有效性与稳定性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线推荐系统和个性化广告等，能够在保护用户隐私的同时，提升系统的个性化服务能力。未来，该方法有望推动更多领域的隐私保护技术发展，促进人机交互的安全性与有效性。

📄 摘要（原文）

Learning from preference-based feedback has recently gained considerable traction as a promising approach to align generative models with human interests. Instead of relying on numerical rewards, the generative models are trained using reinforcement learning with human feedback (RLHF). These approaches first solicit feedback from human labelers typically in the form of pairwise comparisons between two possible actions, then estimate a reward model using these comparisons, and finally employ a policy based on the estimated reward model. An adversarial attack in any step of the above pipeline might reveal private and sensitive information of human labelers. In this work, we adopt the notion of label differential privacy (DP) and focus on the problem of reward estimation from preference-based feedback while protecting privacy of each individual labelers. Specifically, we consider the parametric Bradley-Terry-Luce (BTL) model for such pairwise comparison feedback involving a latent reward parameter $θ^ \in \mathbb{R}^d$. Within a standard minimax estimation framework, we provide tight upper and lower bounds on the error in estimating $θ^$ under both local and central models of DP. We show, for a given privacy budget $ε$ and number of samples $n$, that the additional cost to ensure label-DP under local model is $Θ\big(\frac{1}{ e^ε-1}\sqrt{\frac{d}{n}}\big)$, while it is $Θ\big(\frac{\text{poly}(d)}{εn} \big)$ under the weaker central model. We perform simulations on synthetic data that corroborate these theoretical results.