Statistical Impossibility and Possibility of Aligning LLMs with Human Preferences: From Condorcet Paradox to Nash Equilibrium
作者: Kaizhao Liu, Qi Long, Zhekun Shi, Weijie J. Su, Jiancong Xiao
分类: cs.GT, cs.LG, econ.TH, math.ST, stat.ML
发布日期: 2025-03-14
💡 一句话要点
揭示LLM对齐人类偏好的统计极限：从孔多塞悖论到纳什均衡
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型对齐 人类偏好 纳什均衡 强化学习 奖励模型 孔多塞悖论 混合策略
📋 核心要点
- 现有基于奖励的LLM对齐方法难以处理人类偏好的多样性，可能导致孔多塞循环等问题。
- 论文提出基于纳什学习的对齐方法，旨在保留少数人偏好，避免模型坍缩到单一响应。
- 实验表明，使用该方法对齐的Llama-3.2-1B模型，相较于基线模型胜率提升显著。
📝 摘要（中文）
将大型语言模型（LLM）与多样化的人类偏好对齐，对于确保在决策中部署这些模型时的公平性和知情结果至关重要。本文旨在揭示关于LLM与人类偏好对齐的根本统计极限，重点关注人类偏好的概率表示以及对齐后的LLM中多样化偏好的保留。首先，我们证明了当且仅当LLM生成响应之间的偏好不存在任何孔多塞循环时，人类偏好才能用奖励模型表示。此外，我们证明了在概率偏好模型下，孔多塞循环存在的概率以指数速度收敛于1，从而证明了使用基于奖励的方法（如基于人类反馈的强化学习）完全对齐人类偏好是不可能的。接下来，我们探讨了在使用非奖励方法（如基于人类反馈的纳什学习（NLHF））进行对齐时，LLM在何种条件下会采用混合策略（意味着它们不会坍缩为单一响应）。我们确定了混合策略的充要条件：不存在一种响应被大多数人偏好于所有其他响应。幸运的是，我们证明了在概率偏好模型下，这个条件以高概率成立，从而突出了在对齐LLM时，无需显式正则化即可保留少数人偏好的统计可能性。最后，我们利用统计结果中的见解，设计了一种新颖的、计算高效的算法，用于在使用NLHF对齐LLM时寻找纳什均衡。我们的实验表明，使用我们的算法对齐的Llama-3.2-1B，相对于基础模型实现了60.55%的胜率。
🔬 方法详解
问题定义：现有基于奖励模型的LLM对齐方法，如RLHF，在处理人类偏好时存在局限性。由于人类偏好的多样性，可能出现孔多塞循环，即没有一个响应能够被所有或大多数人一致认可。这导致奖励模型无法准确捕捉所有偏好，尤其容易忽略少数人的偏好，最终导致模型输出单一化，缺乏多样性。
核心思路：论文的核心思路是放弃基于奖励模型的对齐方法，转而采用基于纳什均衡的对齐方法，即Nash Learning from Human Feedback (NLHF)。这种方法不依赖于单一的奖励信号，而是试图找到一个所有偏好群体都能接受的平衡点，从而保留多样性。核心在于避免模型坍缩到单一响应，鼓励模型采用混合策略，即根据不同的偏好群体生成不同的响应。
技术框架：整体框架包括以下几个阶段：1) 收集人类对LLM生成响应的偏好数据。2) 使用这些数据训练一个纳什学习模型，该模型的目标是找到一个纳什均衡点。3) 使用训练好的模型对LLM进行微调，使其能够生成符合纳什均衡的响应。关键模块包括偏好数据收集模块、纳什学习模型训练模块和LLM微调模块。
关键创新：最重要的技术创新点在于将纳什均衡的概念引入到LLM对齐中。与传统的基于奖励模型的对齐方法不同，NLHF不依赖于单一的奖励信号，而是试图找到一个所有偏好群体都能接受的平衡点。这种方法能够更好地保留多样性，避免模型输出单一化。此外，论文还提出了一种计算高效的算法来寻找纳什均衡。
关键设计：论文的关键设计在于纳什学习模型的构建和训练。具体来说，模型的目标是最小化所有偏好群体的遗憾值（regret）。遗憾值是指如果模型选择了不同的响应，该群体能够获得的收益的提升。通过最小化所有群体的遗憾值，模型可以找到一个纳什均衡点。此外，论文还设计了一种特殊的损失函数，用于鼓励模型采用混合策略，避免模型坍缩到单一响应。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用论文提出的算法对齐的Llama-3.2-1B模型，相对于基础模型实现了60.55%的胜率。这表明该方法能够有效地提升LLM的性能，并更好地对齐人类偏好。此外，实验还验证了该方法能够有效地保留少数人偏好，避免模型输出单一化。
🎯 应用场景
该研究成果可应用于需要兼顾不同用户偏好的场景，例如个性化推荐系统、对话机器人、内容生成等。通过保留少数人偏好，可以避免算法歧视，提升用户满意度，并促进更公平、更包容的人工智能应用。
📄 摘要（原文）
Aligning large language models (LLMs) with diverse human preferences is critical for ensuring fairness and informed outcomes when deploying these models for decision-making. In this paper, we seek to uncover fundamental statistical limits concerning aligning LLMs with human preferences, with a focus on the probabilistic representation of human preferences and the preservation of diverse preferences in aligned LLMs. We first show that human preferences can be represented by a reward model if and only if the preference among LLM-generated responses is free of any Condorcet cycle. Moreover, we prove that Condorcet cycles exist with probability converging to one exponentially fast under a probabilistic preference model, thereby demonstrating the impossibility of fully aligning human preferences using reward-based approaches such as reinforcement learning from human feedback. Next, we explore the conditions under which LLMs would employ mixed strategies -- meaning they do not collapse to a single response -- when aligned in the limit using a non-reward-based approach, such as Nash learning from human feedback (NLHF). We identify a necessary and sufficient condition for mixed strategies: the absence of a response that is preferred over all others by a majority. As a blessing, we prove that this condition holds with high probability under the probabilistic preference model, thereby highlighting the statistical possibility of preserving minority preferences without explicit regularization in aligning LLMs. Finally, we leverage insights from our statistical results to design a novel, computationally efficient algorithm for finding Nash equilibria in aligning LLMs with NLHF. Our experiments show that Llama-3.2-1B, aligned with our algorithm, achieves a win rate of 60.55\% against the base model.