Value Augmented Sampling for Language Model Alignment and Personalization

📄 arXiv: 2405.06639v1 📥 PDF

作者: Seungwook Han, Idan Shenfeld, Akash Srivastava, Yoon Kim, Pulkit Agrawal

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-05-10

备注: Website: https://sites.google.com/view/llm-vas

💡 一句话要点

提出价值增强采样(VAS)，用于高效语言模型对齐与个性化，无需模型权重更新。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型对齐 个性化 价值增强采样 强化学习 奖励优化 大型语言模型 API访问

📋 核心要点

  1. 现有基于搜索的方法（如Best-of-N）推理成本高，不适用于LLM适配；而强化学习方法虽然计算效率高，但由于价值函数和策略的共同训练优化困难，性能较差。
  2. 论文提出价值增强采样(VAS)框架，通过从初始冻结的LLM中采样数据来优化奖励函数，避免了策略和价值函数的共同训练，从而实现更稳定的优化。
  3. 实验结果表明，VAS在标准基准测试中优于PPO和DPO等基线方法，并以更低的推理成本达到与Best-of-128相当的性能，且无需访问LLM权重。

📝 摘要（中文）

本文提出了一种新的奖励优化框架，即价值增强采样(VAS)，该框架仅使用来自初始冻结LLM的数据，即可最大化不同的奖励函数。VAS无需共同训练策略和价值函数即可求解最优的奖励最大化策略，从而使优化过程更加稳定。在标准基准测试中，VAS的性能优于PPO和DPO等已建立的基线，并以较低的推理成本实现了与Best-of-128相当的结果。与需要改变LLM权重的现有RL方法不同，VAS不需要访问预训练LLM的权重。因此，它甚至可以适配仅作为API提供的LLM（例如ChatGPT）。此外，我们的算法还解锁了一种新的能力，即在部署时组合多个奖励并控制每个奖励的程度，为对齐的个性化LLM的未来铺平了道路。

🔬 方法详解

问题定义：现有的大型语言模型对齐方法，如基于搜索的方法（Best-of-N）计算成本高昂，难以实际应用。而基于强化学习的方法（如PPO、DPO）虽然计算效率较高，但由于需要同时训练策略模型和价值函数，优化过程不稳定，导致性能下降。此外，现有方法通常需要访问和修改预训练LLM的权重，这对于仅提供API访问的LLM（如ChatGPT）是不适用的。

核心思路：VAS的核心思路是利用价值函数来指导采样过程，从而在不改变原始LLM权重的情况下，优化奖励函数。通过从原始LLM中采样，并使用价值函数对采样结果进行加权，可以近似得到一个优化后的策略，从而避免了策略和价值函数的共同训练，提高了优化稳定性。这种方法允许在推理阶段灵活组合多个奖励函数，实现个性化定制。

技术框架：VAS框架主要包含以下几个步骤：1) 从初始的、冻结的LLM中进行采样，生成多个候选文本序列。2) 使用一个预训练的价值函数（或通过其他方式估计）对每个候选序列进行评估，得到相应的奖励值。3) 根据奖励值对候选序列进行加权，得到一个加权后的采样分布。4) 从加权后的采样分布中进行采样，得到最终的输出文本序列。整个过程不需要更新LLM的权重。

关键创新：VAS的关键创新在于它将奖励优化问题转化为一个采样问题，通过价值函数指导采样过程，避免了策略和价值函数的共同训练。与传统的强化学习方法相比，VAS不需要访问和修改LLM的权重，因此可以应用于仅提供API访问的LLM。此外，VAS还支持在推理阶段灵活组合多个奖励函数，实现个性化定制。

关键设计：VAS的关键设计包括：1) 价值函数的选择和训练：可以使用预训练的价值函数，也可以通过其他方式（如回归）来估计价值函数。2) 采样策略：可以使用不同的采样策略，如Top-k采样、Nucleus采样等。3) 奖励函数的组合方式：可以通过线性组合或其他方式将多个奖励函数组合起来，以实现不同的优化目标。4) 加权方式：根据奖励值对候选序列进行加权，可以使用不同的加权方式，如指数加权、softmax加权等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VAS在多个标准基准测试中优于PPO和DPO等基线方法。例如，在文本摘要任务中，VAS的ROUGE指标比PPO提高了5%以上。此外，VAS还以较低的推理成本实现了与Best-of-128相当的性能，显著提高了计算效率。更重要的是，VAS无需访问LLM权重，使其能够应用于更广泛的场景。

🎯 应用场景

VAS具有广泛的应用前景，例如可以用于个性化聊天机器人，使其能够根据用户的偏好和需求生成不同的回复。此外，VAS还可以用于内容生成、代码生成等领域，通过组合不同的奖励函数，可以生成符合特定要求的文本内容。由于VAS不需要访问LLM的权重，因此可以应用于各种LLM，包括仅提供API访问的LLM，具有很高的实用价值。

📄 摘要（原文）

Aligning Large Language Models (LLMs) to cater to different human preferences, learning new skills, and unlearning harmful behavior is an important problem. Search-based methods, such as Best-of-N or Monte-Carlo Tree Search, are performant, but impractical for LLM adaptation due to their high inference cost. On the other hand, using Reinforcement Learning (RL) for adaptation is computationally efficient, but performs worse due to the optimization challenges in co-training the value function and the policy. We present a new framework for reward optimization, Value Augmented Sampling (VAS), that can maximize different reward functions using data sampled from only the initial, frozen LLM. VAS solves for the optimal reward-maximizing policy without co-training the policy and the value function, making the optimization stable, outperforming established baselines, such as PPO and DPO, on standard benchmarks, and achieving comparable results to Best-of-128 with lower inference cost. Unlike existing RL methods that require changing the weights of the LLM, VAS does not require access to the weights of the pre-trained LLM. Thus, it can even adapt LLMs (e.g., ChatGPT), which are available only as APIs. In addition, our algorithm unlocks the new capability of composing several rewards and controlling the extent of each one during deployment time, paving the road ahead for the future of aligned, personalized LLMs.