Differentially Private Sparse Reward Estimation with Preference Feedback

📄 arXiv: 2610.30099v1 📥 PDF

作者: Meng Ding, Mingxi Lei, Jie Zhang, Jinyan Liu, Di Wang

分类: cs.LG, cs.AI

发布日期: 2026-10-21

备注: 36 pages

💡 一句话要点

提出差分隐私稀疏奖励估计方法以解决用户偏好数据泄露问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 稀疏奖励 人类反馈 强化学习 隐私保护 模型对齐 算法设计

📋 核心要点

  1. 现有的私有对齐方法假设密集奖励参数化，导致在现代过参数化模型中估计误差界限过高。
  2. 本文提出了一种私有稀疏RLHF方法，假设人类偏好由少量相关特征控制，从而降低了估计误差。
  3. 实验结果表明，所提出的方法在情感生成和安全对齐基准上优于密集基线，显著改善了隐私效用权衡。

📝 摘要（中文）

人类反馈强化学习（RLHF）已成为将大型语言模型与人类价值观对齐的核心范式。然而，依赖敏感的偏好数据需要严格的差分隐私（DP）保障，以防止用户信息泄露。现有的私有对齐方法通常假设密集奖励参数化，导致估计误差界限随着模型规模的多项式增长，限制了在现代过参数化模型中的应用。本文研究了私有稀疏RLHF问题，假设人类偏好由少量相关特征控制。我们为基于Bradley-Terry-Luce模型的成对偏好反馈提供了首个全面的理论框架，并提出了有效的算法，展示了在隐私与效用之间的显著改善。

🔬 方法详解

问题定义：本文旨在解决在强化学习中使用人类反馈时，如何在保护用户隐私的同时有效估计稀疏奖励的问题。现有方法依赖于密集奖励参数化，导致在大规模模型中难以实现有效的隐私保护。

核心思路：论文提出了一种新的框架，假设人类偏好由少量相关特征控制，从而实现稀疏奖励估计。通过引入差分隐私机制，确保在使用成对偏好反馈时，用户信息不会泄露。

技术框架：整体架构包括两个主要模块：首先是基于Bradley-Terry-Luce模型的奖励估计模块，其次是实现差分隐私的算法模块。算法分为Sample-DP和Label-DP两种设置，分别处理不同类型的隐私保护需求。

关键创新：本文的主要创新在于首次提出了差分隐私稀疏奖励估计的理论框架，特别是在成对偏好反馈的背景下，显著降低了估计误差界限。与现有方法相比，提供了更优的隐私保障。

关键设计：在算法设计中，使用了随机响应机制来实现差分隐私，针对不同的隐私设置，分别设计了相应的误差界限，并通过理论分析证明了其最优性。

📊 实验亮点

实验结果显示，所提出的稀疏奖励估计方法在情感生成和安全对齐基准上，相较于密集基线表现出显著的性能提升，具体在Sample-DP和Label-DP设置下，隐私效用权衡得到了显著改善，验证了理论分析的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练、情感分析和安全对齐等。通过有效的稀疏奖励估计方法，可以在保护用户隐私的同时，提升模型的对齐效果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement Learning with Human Feedback (RLHF) has become a central paradigm for aligning Large Language Models with human values. However, the reliance on sensitive preference data necessitates rigorous differential privacy (DP) guarantees to prevent user information leakage. Existing private alignment methods typically assume dense reward parameterizations, resulting in estimation error bounds that scale polynomially with the ambient {model size $d$}. Such dependence is prohibitive in modern {overparameterized models} where $d$ is vast. In this work, we study \emph{Private Sparse RLHF} problem to address this limitation, assuming that human preferences (reward model) are governed by a subset of $s^* \ll d$ relevant features. We provide the first comprehensive theoretical framework for differentially private sparse reward estimation from pairwise preference feedback under the Bradley-Terry-Luce model, and introduce efficient algorithms for both Sample-DP and Label-DP settings. Theoretically, under the squared $\ell_2$ parameter estimation error, we establish upper bounds of $\widetilde{O}(s^/n + {s^}^2/n^2\varepsilon^2)$ for $(\varepsilon,δ)$-Sample-DP and $\widetilde{O}(s^/n + s^/n\varepsilon^2)$ for $\varepsilon$-Label-DP based on randomized response, where $n$ is the training data size. For the lower bounds, we show that the Sample-DP rate is nearly optimal, and that the guarantee for our Label-DP method cannot be further improved within the randomized-response framework. We also provide a general lower bound for the problem with Label-DP. Empirically, our framework demonstrates superior efficacy over dense baselines across sentiment generation and safety alignment benchmarks, offering a significantly more favorable privacy-utility trade-off.