Theoretical Limits of Language Model Alignment

📄 arXiv: 2605.07105v1 📥 PDF

作者: Lucas Monteiro Paes, Natalie Mackraz, Barry-John Theobald, Federico Danieli

分类: cs.LG, cs.CL, cs.CY, cs.IT

发布日期: 2026-05-08

💡 一句话要点

提出KL正则化的语言模型对齐理论极限以优化对齐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型对齐 KL正则化 奖励机制 信息论 Jeffreys散度 实验评估

📋 核心要点

  1. 现有的对齐方法在根据KL预算提升奖励方面面临理论极限不明确的问题，影响模型性能。
  2. 论文通过推导KL正则化下的最大期望奖励增益，给出封闭形式表达并提出实用的增益预测。
  3. 实验表明，最佳N方法能够接近理论极限，相较之下，PPO和GRPO的效果依然不理想，提升空间明显。

📝 摘要（中文）

语言模型的对齐旨在提升模型输出与人类偏好的契合，同时保持基础模型的能力。现有的对齐方法，如强化学习和最佳N输出，虽然广泛应用，但在KL预算下的奖励改进的基本限制尚不明确。本文通过推导固定KL散度预算下可实现的最大期望奖励增益，首次给出了优的奖励改进的封闭形式表达，并引入Jeffreys散度。进一步将该表达重新构造为基础模型下的协方差，为基于基础模型样本的对齐增益预测提供实用估计器。我们还讨论了代理奖励下的对齐差距，并证明了奖励集成能够缓解奖励黑客问题，为实际应用中的技术提供理论支持。我们对两项任务计算KL-奖励帕累托前沿，发现最佳N方法接近理论极限，而PPO和GRPO则远未达到最优。

🔬 方法详解

问题定义：论文着眼于KL正则化的语言模型对齐，探索奖励改进在固定KL预算下的理论限制，现有方法如强化学习和最佳N输出在这一方面缺乏充分理解。

核心思路：通过推导最大可实现的期望奖励增益，提供了一个基于Jeffreys散度的封闭形式，为基于样本的对齐增益预测奠定了理论基础。

技术框架：文章首先定义了KL预算及其对奖励增益的影响，接着推导出最大增益的表达式，并分析了在代理奖励设置中的对齐误差及奖励集成的作用。

关键创新：创新地使用Jeffreys散度来替代传统方法中的平方根KL散度，使得理论分析更为精确，同时提出了利用基础模型样本估计对齐增益的实用方法。

关键设计：论文设计了KL-奖励的帕累托前沿分析框架，利用两项不同任务进行了实证验证，设定了适当的KL惩罚因子的影响，为后续实验提供了有价值的参考。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验过程中，最佳N方法在KL-奖励帕累托前沿上表现出色，接近理论极限，而PPO和GRPO则表现明显不足。具体数据显示，最佳N方法提供的奖励增益在目标任务中达到了预期的高水平，提高幅度显著，验证了所提出理论的有效性和实用性。

🎯 应用场景

该研究为语言模型的对齐提供了理论支持，具有广泛的应用潜力。尤其在需要与人类反馈相契合的智能助手、自动化内容生成和对话系统中，都能够显著提升用户体验和模型性能。未来，该理论框架还可能引导其他对齐方法的研究，推动人工智能系统的安全与伦理发展。

📄 摘要（原文）

Language model (LM) alignment improves model outputs to reflect human preferences while preserving the capabilities of the base model. The most common alignment approaches are (i) reinforcement learning, which maximizes the expected reward under a KL-divergence constraint, and (ii) best-of-$N$ alignment, which selects the highest-reward output among $N$ independent samples. Despite their widespread use, the fundamental limits of reward improvement under a KL budget remain poorly understood. We characterize the information-theoretic limits of KL-regularized alignment by deriving the maximum achievable expected reward gain for a fixed KL-divergence budget. Our first result provides a closed-form expression for the optimal reward improvement, governed by a Jeffreys divergence term rather than the $\sqrt{\texttt{KL}}$ used in prior analyses. We further reformulate this expression as a covariance under the base model, yielding a practical estimator that predicts achievable alignment gains from base model samples alone. We extend our analysis to the proxy reward setting, showing that the gap between ideal and proxy alignment (reward hacking) grows with the magnitude of reward error and when the KL penalty factor decreases. We then prove that reward ensembling mitigates reward hacking, providing a theoretical justification for this technique used in practice. Empirically, we compute the KL-reward Pareto frontier for two tasks for LMs, safety and summarization, and show that best-of-$N$ closely approaches the theoretical limit, while PPO and GRPO remain substantially suboptimal. Our theoretical results shed light on several empirically observed phenomena in the alignment literature and suggest that algorithmic improvements are needed to achieve optimal alignment without high inference costs.