Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment

📄 arXiv: 2411.09341v1 📥 PDF

作者: Yuang Cai, Yuyu Yuan, Jinsheng Shi, Qinhong Lin

分类: cs.LG

发布日期: 2024-11-14

💡 一句话要点

提出AVA：基于近似变分贝叶斯逆强化学习的大语言模型对齐方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型对齐 逆强化学习 贝叶斯方法 变分推断 奖励建模 强化学习 人类反馈

📋 核心要点

  1. 现有LLM对齐方法侧重于建模选择和拒绝样本的奖励差异，忽略了对单个样本真实奖励的直接建模和中间奖励的建模，导致训练信号利用不足。
  2. 论文将LLM对齐形式化为贝叶斯逆强化学习（BIRL）问题，提出近似变分对齐（AVA）方法，通过近似变分奖励模仿学习（AVRIL）实现对齐。
  3. 实验结果表明，AVA在奖励建模、强化学习微调和直接优化方面均优于现有LLM对齐方法，验证了其有效性。

📝 摘要（中文）

大语言模型（LLM）的对齐对于生成有益且无害的内容至关重要。现有方法利用基于偏好的人工反馈数据来学习奖励函数，并使LLM与反馈数据对齐。然而，这些方法侧重于建模选择和拒绝的演示之间的奖励差异，而不是直接建模来自每个演示的真实奖励。此外，这些方法假设奖励仅在句子末尾获得，忽略了中间奖励的建模。这些问题导致反馈数据中训练信号的利用不足，限制了奖励的表示和泛化能力，并可能导致奖励黑客。在本文中，我们将LLM对齐形式化为贝叶斯逆强化学习（BIRL）问题，并提出了一种新的训练目标，即近似变分对齐（AVA），以通过近似变分奖励模仿学习（AVRIL）执行LLM对齐。BIRL公式有助于中间奖励建模和对每个单独演示的直接奖励建模，从而增强了反馈数据中训练信号的利用。实验表明，AVA在奖励建模、强化学习微调和直接优化方面优于现有的LLM对齐方法。

🔬 方法详解

问题定义：现有的大语言模型对齐方法主要依赖于人类偏好数据，通过建模选择和拒绝样本之间的奖励差异来学习奖励函数。然而，这种方法忽略了对单个样本的真实奖励的直接建模，以及句子生成过程中的中间奖励。这导致训练信号利用不足，限制了奖励函数的表达能力和泛化能力，增加了奖励黑客的风险。

核心思路：论文的核心思路是将LLM对齐问题建模为贝叶斯逆强化学习（BIRL）问题。通过BIRL框架，可以对每个单独的演示进行直接奖励建模，并考虑中间奖励，从而更充分地利用人类反馈数据中的训练信号。此外，使用变分推断方法来近似后验分布，使得模型能够处理大规模数据和复杂的奖励函数。

技术框架：AVA方法的整体框架包括以下几个主要步骤：1) 将LLM生成文本的过程视为一个马尔可夫决策过程（MDP）；2) 利用人类偏好数据构建训练数据集，包含选择和拒绝的文本序列；3) 使用近似变分推理（AVRIL）学习奖励函数的后验分布；4) 使用学习到的奖励函数对LLM进行强化学习微调或直接优化，以实现对齐。

关键创新：该论文的关键创新在于将LLM对齐问题形式化为贝叶斯逆强化学习问题，并提出了近似变分对齐（AVA）方法。与现有方法相比，AVA能够直接建模每个演示的奖励，并考虑中间奖励，从而更有效地利用训练信号。此外，AVA使用变分推断来近似后验分布，使其能够处理大规模数据和复杂的奖励函数。

关键设计：AVA的关键设计包括：1) 使用变分自编码器（VAE）来近似奖励函数的后验分布；2) 设计了基于时间差分（TD）学习的损失函数，用于训练奖励函数；3) 采用了KL散度正则化项，以防止后验分布过于复杂；4) 使用了REINFORCE算法对LLM进行强化学习微调。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，AVA方法在奖励建模、强化学习微调和直接优化方面均优于现有的LLM对齐方法。具体而言，AVA在奖励建模的准确性上取得了显著提升，并且在RL微调后，LLM生成的内容在helpfulness和harmlessness方面均有明显改善。这些结果验证了AVA方法能够更有效地利用人类反馈数据，并提高LLM的对齐效果。

🎯 应用场景

该研究成果可应用于各种需要对齐大语言模型的场景，例如对话系统、文本生成、内容审核等。通过更有效地利用人类反馈数据，可以提高LLM生成内容的质量、安全性和可靠性，减少有害或不当内容的产生。此外，该方法还可以用于个性化推荐、智能客服等领域，提升用户体验。

📄 摘要（原文）

The alignment of large language models (LLMs) is crucial for generating helpful and harmless content. Existing approaches leverage preference-based human feedback data to learn the reward function and align the LLM with the feedback data. However, these approaches focus on modeling the reward difference between the chosen and rejected demonstrations, rather than directly modeling the true reward from each demonstration. Moreover, these approaches assume that the reward is only obtained at the end of the sentence, which overlooks the modeling of intermediate rewards. These issues lead to insufficient use of training signals in the feedback data, limiting the representation and generalization ability of the reward and potentially resulting in reward hacking. In this paper, we formulate LLM alignment as a Bayesian Inverse Reinforcement Learning (BIRL) problem and propose a novel training objective, Approximated Variational Alignment (AVA), to perform LLM alignment through Approximated Variational Reward Imitation Learning (AVRIL). The BIRL formulation facilitates intermediate reward modeling and direct reward modeling on each single demonstration, which enhances the utilization of training signals in the feedback data. Experiments show that AVA outperforms existing LLM alignment approaches in reward modeling, RL fine-tuning, and direct optimization.