Solving the Inverse Alignment Problem for Efficient RLHF

📄 arXiv: 2412.10529v1 📥 PDF

作者: Shambhavi Krishna, Aishwarya Sahoo

分类: cs.LG, cs.CL

发布日期: 2024-12-13

💡 一句话要点

提出逆向对齐方法，提升RLHF中奖励模型的训练效率与对齐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 人类反馈 奖励模型 逆向强化学习 对齐 语言模型 离线学习

📋 核心要点

  1. RLHF依赖高质量偏好数据，但数据收集成本高昂，现有方法使用混合数据导致奖励模型信号弱。
  2. 论文提出“逆向对齐问题”，通过优化奖励模型，使其更好地适应当前策略，从而提升对齐效果。
  3. 实验表明，在RLHF过程中，使用与当前策略对齐的数据子集微调奖励模型，能加速收敛并提升对齐效果。

📝 摘要（中文）

从人类反馈中进行强化学习（RLHF）需要高质量的偏好数据集，而收集这些数据既耗费资源又充满挑战。因此，研究人员通常使用大型离线数据集训练奖励模型，这些数据集汇集了不同的生成来源和评分/对齐策略。我们假设这种聚合会对奖励模型的分数产生平均效应，从而限制了信号并损害了对齐过程。受逆向强化学习领域的启发，我们定义了语言模型训练中的“逆向对齐问题”，其目标是针对固定的actor和一个固定的离线偏好数据集，优化critic的奖励。我们假设解决逆向对齐问题将通过提供关于策略当前行为的更清晰反馈来提高奖励模型的质量。为此，我们研究了在RLHF期间，重复地在与周期性冻结的策略对齐的离线偏好数据集子集上微调奖励模型，是否能优于原始RLHF。我们的实验结果表明，相对于LLM策略，与使用未对齐或分布外的奖励模型相比，这种方法有助于实现更好的对齐和更快的收敛。

🔬 方法详解

问题定义：现有RLHF方法依赖于大规模离线数据集训练奖励模型，但这些数据集通常包含来自不同来源和策略的数据，导致奖励模型输出的奖励信号被平均化，无法准确反映当前策略的优劣，从而阻碍了策略的有效对齐。这种“平均效应”是现有方法的痛点。

核心思路：论文借鉴逆向强化学习的思想，将奖励模型训练视为一个逆问题，即给定一个固定的策略（actor）和一个固定的离线偏好数据集，优化奖励模型（critic），使其能够更好地解释和区分数据集中的偏好。核心在于使奖励模型专注于当前策略的行为，而非试图泛化到所有可能的行为。

技术框架：整体流程是在RLHF训练过程中，周期性地冻结当前策略，然后使用与该策略行为最相关的离线数据集子集来微调奖励模型。具体包括以下步骤：1) 正常进行RLHF训练一段时间；2) 冻结当前策略；3) 从离线数据集中选择与冻结策略生成数据最相似的子集；4) 使用该子集微调奖励模型；5) 解冻策略，继续RLHF训练。重复步骤1-5直至训练完成。

关键创新：最重要的创新点在于将奖励模型训练视为一个逆向对齐问题，并提出通过周期性地使用与当前策略对齐的数据子集微调奖励模型来解决该问题。与传统RLHF方法不同，该方法不是试图训练一个通用的奖励模型，而是训练一个能够更好地区分当前策略行为优劣的奖励模型。

关键设计：关键设计包括：1) 如何选择与当前策略对齐的数据子集：论文可能使用了某种相似度度量方法，例如计算策略生成数据与离线数据之间的KL散度或余弦相似度，选择相似度最高的子集；2) 冻结策略的周期：需要根据具体任务和数据集进行调整，过短可能导致训练不稳定，过长可能无法及时适应策略的变化；3) 微调奖励模型的学习率和训练轮数：需要根据具体情况进行调整，以避免过拟合或欠拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文的实验结果表明，提出的逆向对齐方法能够显著提升RLHF的训练效果。具体而言，与使用未对齐或分布外的奖励模型相比，该方法能够实现更快的收敛速度和更高的最终性能。实验数据可能包括奖励模型的准确率、策略的奖励值、以及人工评估的生成质量等指标。具体的性能提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可应用于各种需要从人类反馈中进行强化学习的任务，例如对话系统、文本生成、机器人控制等。通过提升奖励模型的训练效率和对齐效果，可以显著减少人工标注成本，并提高最终模型的性能和用户满意度。未来，该方法可以进一步扩展到更复杂的场景，例如多智能体环境和持续学习。

📄 摘要（原文）

Collecting high-quality preference datasets for reinforcement learning from human feedback (RLHF) is resource-intensive and challenging. As a result, researchers often train reward models on extensive offline datasets which aggregate diverse generation sources and scoring/alignment policies. We hypothesize that this aggregation has an averaging effect on reward model scores, which limits signal and impairs the alignment process. Inspired by the field of inverse RL, we define the 'inverse alignment problem' in language model training, where our objective is to optimize the critic's reward for a fixed actor and a fixed offline preference dataset. We hypothesize that solving the inverse alignment problem will improve reward model quality by providing clearer feedback on the policy's current behavior. To that end, we investigate whether repeatedly fine-tuning a reward model on subsets of the offline preference dataset aligned with a periodically frozen policy during RLHF improves upon vanilla RLHF. Our empirical results demonstrate that this approach facilitates superior alignment and faster convergence compared to using an unaligned or out-of-distribution reward model relative to the LLM policy.