Alignment of large language models with constrained learning

📄 arXiv: 2505.19387v2 📥 PDF

作者: Botong Zhang, Shuo Li, Ignacio Hounie, Osbert Bastani, Dongsheng Ding, Alejandro Ribeiro

分类: cs.LG, eess.SY, math.OC

发布日期: 2025-05-26 (更新: 2025-11-26)

备注: 51 pages, 5 figures, 11 tables; Accepted to NeurIPS 2025

💡 一句话要点

提出基于拉格朗日对偶的LLM对齐方法，解决约束条件下奖励最大化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 约束优化 拉格朗日对偶 强化学习 对齐 奖励最大化 策略优化

📋 核心要点

  1. 现有基于拉格朗日的LLM对齐方法，在迭代优化时常难以收敛，非迭代方法无法达到参数空间最优。
  2. 论文提出一种迭代的基于对偶的对齐方法，交替更新LLM策略和对偶变量，以解决收敛性和最优性问题。
  3. 理论分析表明该方法能找到近似最优的约束LLM策略，实验在多个数据集上验证了其有效性。

📝 摘要（中文）

本文研究了约束对齐问题，旨在计算最优的大型语言模型（LLM）策略，即在满足次要效用约束的同时，最大化主要奖励目标。尽管基于拉格朗日的LLM策略搜索在约束对齐中很受欢迎，但迭代原始-对偶方法通常无法收敛，而非迭代的基于对偶的方法无法在LLM参数空间中实现最优。为了解决这些挑战，我们利用拉格朗日对偶性开发了一种迭代的基于对偶的对齐方法，该方法交替进行：通过拉格朗日最大化更新LLM策略，以及通过对偶下降更新对偶变量。在理论上，我们描述了分布空间中的原始值和LLM参数空间中的对偶值之间的原始-对偶间隙。我们进一步量化了在接近最优的对偶变量下，学习到的LLM策略在目标函数和约束函数方面的最优性差距。这些结果证明，基于对偶的对齐方法可以找到最优的约束LLM策略，直至LLM参数化间隙。我们通过在PKU-SafeRLHF和Anthropic HH-RLHF数据集上进行的大量实验，证明了我们方法的有效性和优点。

🔬 方法详解

问题定义：论文旨在解决在满足特定约束条件下，如何优化大型语言模型（LLM）的策略，以最大化预定义的主要奖励目标。现有方法，特别是基于拉格朗日方法的原始-对偶迭代优化，在实际应用中经常遇到收敛困难，导致无法找到最优解。此外，非迭代的对偶方法虽然避免了收敛问题，但无法保证在LLM参数空间中的最优性，存在一定的性能损失。

核心思路：论文的核心思路是利用拉格朗日对偶性，将原始的约束优化问题转化为对偶问题，并通过迭代的方式求解对偶问题。具体来说，通过交替更新LLM策略（通过拉格朗日最大化）和对偶变量（通过对偶下降），逐步逼近最优解。这种方法旨在克服传统原始-对偶方法的收敛问题，同时保证在LLM参数空间中的最优性。

技术框架：整体框架包含两个主要阶段：1) LLM策略更新阶段：在此阶段，利用拉格朗日最大化来更新LLM策略，即在给定当前对偶变量的情况下，最大化拉格朗日函数。这通常涉及使用强化学习或其他优化算法来调整LLM的参数。2) 对偶变量更新阶段：在此阶段，利用对偶下降来更新对偶变量，即根据当前LLM策略的性能，调整对偶变量的值，以更好地满足约束条件。这两个阶段交替进行，直到收敛。

关键创新：论文的关键创新在于提出了一种迭代的基于对偶的对齐方法，该方法能够有效地解决传统原始-对偶方法的收敛问题，并保证在LLM参数空间中的最优性。此外，论文还提供了理论分析，证明了该方法能够找到近似最优的约束LLM策略，并量化了最优性差距。

关键设计：关键设计包括：1) 拉格朗日函数的具体形式，它将主要奖励目标和约束条件结合在一起，通过对偶变量来平衡两者之间的关系。2) LLM策略更新的具体算法，例如，可以使用PPO等强化学习算法来训练LLM。3) 对偶变量更新的具体算法，例如，可以使用梯度下降或其他优化算法来更新对偶变量。4) 停止迭代的准则，例如，可以根据LLM策略和对偶变量的变化幅度来判断是否收敛。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在PKU-SafeRLHF和Anthropic HH-RLHF数据集上进行了实验，验证了所提出方法的有效性。实验结果表明，该方法能够找到满足约束条件的最优LLM策略，并且在收敛速度和性能方面优于现有的原始-对偶方法。具体性能提升数据未知。

🎯 应用场景

该研究成果可应用于各种需要对LLM进行约束对齐的场景，例如安全对话系统、公平性保证的文本生成、以及资源受限的LLM部署。通过约束对齐，可以确保LLM在追求主要目标的同时，满足特定的安全、道德或资源约束，从而提高LLM的可靠性和实用性。

📄 摘要（原文）

We study the problem of computing an optimal large language model (LLM) policy for the constrained alignment problem, where the goal is to maximize a primary reward objective while satisfying constraints on secondary utilities. Despite the popularity of Lagrangian-based LLM policy search in constrained alignment, iterative primal-dual methods often fail to converge, and non-iterative dual-based methods do not achieve optimality in the LLM parameter space. To address these challenges, we employ Lagrangian duality to develop an iterative dual-based alignment method that alternates between updating the LLM policy via Lagrangian maximization and updating the dual variable via dual descent. In theory, we characterize the primal-dual gap between the primal value in the distribution space and the dual value in the LLM parameter space. We further quantify the optimality gap of the learned LLM policies at near-optimal dual variables with respect to both the objective and the constraint functions. These results prove that dual-based alignment methods can find an optimal constrained LLM policy, up to an LLM parametrization gap. We demonstrate the effectiveness and merits of our approach through extensive experiments conducted on the PKU-SafeRLHF and Anthropic HH-RLHF datasets.