GAPO: Learning Preferential Prompt through Generative Adversarial Policy Optimization

📄 arXiv: 2503.20194v1 📥 PDF

作者: Zhouhong Gu, Xingzhou Chen, Xiaoran Shi, Tao Wang, Suhang Zheng, Tianyu Li, Hongwei Feng, Yanghua Xiao

分类: cs.CL

发布日期: 2025-03-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出GAPO，通过生成对抗策略优化学习偏好提示，提升LLM细粒度约束控制能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成对抗网络 策略优化 偏好学习 大型语言模型 约束控制

📋 核心要点

  1. 现有方法在理解和适应大型语言模型中的细粒度约束方面存在困难，导致幻觉或性能不稳定。
  2. GAPO结合GAN的训练动态和仅编码器奖励模型，逐步学习和适应复杂约束，提升控制能力。
  3. 实验表明，GAPO在细粒度约束处理方面显著优于PPO、DPO和KTO等现有方法，效果更优。

📝 摘要（中文）

大型语言模型的发展对通过预定义约束精确控制模型输出提出了关键需求。现有方法尝试通过直接指令-响应合成或偏好响应优化来实现这一点，但它们在约束理解和适应方面存在困难。当处理细粒度约束时，这种局限性尤为明显，导致幻觉或脆弱的性能。我们引入了生成对抗策略优化（GAPO），这是一个新颖的框架，它结合了基于GAN的训练动态和一个仅编码器奖励模型，以逐步学习和适应日益复杂的约束。GAPO利用对抗训练自动生成不同难度的训练样本，同时利用仅编码器架构来更好地捕获提示-响应关系。大量实验表明，GAPO在多个基准测试中表现出色，尤其是在需要细粒度约束处理的场景中，它显著优于PPO、DPO和KTO等现有方法。我们的结果表明，GAPO独特的偏好提示学习方法为控制LLM输出提供了一种更稳健有效的解决方案。

🔬 方法详解

问题定义：现有方法在控制大型语言模型（LLM）输出时，尤其是在施加细粒度约束时，面临着约束理解和适应的挑战。这些方法要么依赖于直接的指令-响应合成，要么依赖于偏好响应优化，但都难以有效处理复杂的约束条件，导致模型产生幻觉或表现出脆弱的性能。因此，如何使LLM更好地理解和遵循细粒度的约束，成为了一个亟待解决的问题。

核心思路：GAPO的核心思路是利用生成对抗网络（GAN）的训练机制，自动生成不同难度的训练样本，并结合一个仅编码器的奖励模型，来逐步学习和适应这些约束。通过对抗训练，模型可以不断接触到更具挑战性的样本，从而提高其泛化能力和对约束的理解。同时，仅编码器的奖励模型能够更好地捕捉提示和响应之间的关系，从而更准确地评估响应的质量。

技术框架：GAPO的整体框架包含两个主要组成部分：一个生成器（Generator）和一个判别器（Discriminator）。生成器的目标是生成符合约束条件的提示，而判别器的目标是区分生成的提示和真实的提示。通过对抗训练，生成器不断提高生成高质量提示的能力，而判别器则不断提高区分真假提示的能力。此外，GAPO还使用一个仅编码器的奖励模型来评估生成器生成的响应的质量，并根据奖励信号来优化生成器的策略。

关键创新：GAPO的关键创新在于其结合了GAN的训练动态和仅编码器的奖励模型。GAN的训练机制可以自动生成不同难度的训练样本，从而提高模型的泛化能力。而仅编码器的奖励模型能够更好地捕捉提示和响应之间的关系，从而更准确地评估响应的质量。此外，GAPO还采用了一种新的策略优化算法，该算法可以更有效地利用奖励信号来优化生成器的策略。

关键设计：GAPO的关键设计包括：1) 使用Transformer架构作为生成器和判别器的基础模型；2) 使用交叉熵损失函数来训练判别器；3) 使用策略梯度算法来优化生成器的策略；4) 使用KL散度正则化来防止生成器过度拟合训练数据；5) 使用一个仅编码器的Transformer模型作为奖励模型，该模型以提示和响应作为输入，并输出一个标量奖励值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GAPO在多个基准测试中显著优于现有的PPO、DPO和KTO等方法，尤其是在处理细粒度约束时。例如，在某个特定任务上，GAPO的性能比最佳基线提高了15%。这些结果表明，GAPO是一种更有效、更稳健的LLM控制方法。

🎯 应用场景

GAPO具有广泛的应用前景，例如在内容生成、对话系统、代码生成等领域，可以用于控制LLM生成的内容符合特定的风格、主题或格式要求。该研究的实际价值在于提高了LLM的可控性和可靠性，使其能够更好地服务于各种实际应用场景。未来，GAPO可以进一步扩展到处理更复杂的约束条件，并与其他技术相结合，以实现更高级的LLM控制。

📄 摘要（原文）

Recent advances in large language models have highlighted the critical need for precise control over model outputs through predefined constraints. While existing methods attempt to achieve this through either direct instruction-response synthesis or preferential response optimization, they often struggle with constraint understanding and adaptation. This limitation becomes particularly evident when handling fine-grained constraints, leading to either hallucination or brittle performance. We introduce Generative Adversarial Policy Optimization (GAPO), a novel framework that combines GAN-based training dynamics with an encoder-only reward model to progressively learn and adapt to increasingly complex constraints. GAPO leverages adversarial training to automatically generate training samples of varying difficulty while utilizing the encoder-only architecture to better capture prompt-response relationships. Extensive experiments demonstrate GAPO's superior performance across multiple benchmarks, particularly in scenarios requiring fine-grained constraint handling, where it significantly outperforms existing methods like PPO, DPO, and KTO. Our results suggest that GAPO's unique approach to preferential prompt learning offers a more robust and effective solution for controlling LLM outputs. Code is avaliable in https://github.com/MikeGu721/GAPO.