MPO: An Efficient Post-Processing Framework for Mixing Diverse Preference Alignment

📄 arXiv: 2502.18699v3 📥 PDF

作者: Tianze Wang, Dongnan Gui, Yifan Hu, Shuhang Lin, Linjun Zhang

分类: cs.CL, cs.LG, stat.ME

发布日期: 2025-02-25 (更新: 2025-07-22)

备注: ICML 2025

💡 一句话要点

提出MPO框架，通过混合不同偏好策略实现高效的偏好对齐后处理。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好对齐 强化学习 人类反馈 策略混合 后处理框架

📋 核心要点

  1. 现有RLHF方法依赖单一奖励模型，忽略了人类偏好的多样性，导致模型泛化能力受限。
  2. MPO框架通过对数线性组合多个单目标策略，避免了从头开始对齐，降低了计算成本和训练不稳定性。
  3. 实验结果表明，MPO在平衡不同偏好方面表现出色，性能优于或匹配现有模型，且计算成本显著降低。

📝 摘要（中文）

从人类反馈中进行强化学习(RLHF)在对齐大型语言模型(LLM)方面显示出前景。然而，它对单一奖励模型的依赖常常忽略了人类偏好的多样性。最近的方法通过利用多维反馈来微调相应的奖励模型，并使用强化学习训练LLM来解决这一局限性。然而，这个过程是昂贵且不稳定的，特别是考虑到人类偏好的竞争性和异构性。在本文中，我们提出混合偏好优化(MPO)，一个用于聚合单目标策略的后处理框架，作为多目标RLHF (MORLHF)和MaxMin-RLHF的替代方案。MPO避免了从头开始的对齐。相反，它将现有的策略进行对数线性组合成一个统一的策略，其中每个策略的权重通过批量随机镜像下降计算。实验结果表明，MPO在不同的偏好之间实现了平衡的性能，优于或匹配现有模型，同时显著降低了计算成本。

🔬 方法详解

问题定义：现有基于人类反馈的强化学习（RLHF）方法，特别是多目标RLHF（MORLHF）和MaxMin-RLHF，在处理人类偏好多样性时面临挑战。这些方法通常需要从头开始训练模型，计算成本高昂，且由于不同偏好之间的竞争和异构性，训练过程不稳定。因此，如何高效地整合不同偏好，同时避免高成本的重新训练，是一个亟待解决的问题。

核心思路：MPO的核心思路是将多个针对不同偏好训练的单目标策略进行混合，从而得到一个能够平衡各种偏好的统一策略。这种方法避免了从头开始训练，而是利用已有的策略，通过调整它们的权重来实现偏好对齐。核心在于找到合适的权重分配方案，使得混合后的策略能够尽可能满足所有偏好。

技术框架：MPO是一个后处理框架，其主要流程如下：1) 收集针对不同偏好的多个单目标策略。2) 使用批量随机镜像下降算法，计算每个策略的权重。3) 将这些策略进行对数线性组合，得到最终的混合策略。该混合策略可以直接用于生成文本或其他任务输出。

关键创新：MPO的关键创新在于其后处理的特性和权重计算方法。与需要从头开始训练的MORLHF等方法不同，MPO利用已有的策略，大大降低了计算成本。此外，使用批量随机镜像下降算法来优化策略权重，能够有效地平衡不同偏好之间的冲突，找到一个折中的解决方案。

关键设计：MPO的关键设计包括：1) 对数线性组合：使用对数线性组合来混合不同的策略，保证了混合策略的概率分布的有效性。2) 批量随机镜像下降：使用批量随机镜像下降算法来优化策略权重，该算法能够有效地处理大规模数据，并具有良好的收敛性。3) 权重初始化：策略权重的初始化对最终性能有一定影响，论文中可能使用了均匀初始化或其他启发式方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MPO在平衡不同偏好方面表现出色，优于或匹配现有模型，同时显著降低了计算成本。具体而言，MPO在多个数据集上取得了与MORLHF和MaxMin-RLHF相当甚至更好的性能，但训练时间缩短了几个数量级。这表明MPO是一种高效且有效的偏好对齐方法。

🎯 应用场景

MPO框架可应用于各种需要平衡不同偏好的自然语言处理任务，例如文本生成、对话系统和摘要生成。它可以帮助模型更好地满足用户的多样化需求，提高用户满意度。此外，MPO的后处理特性使其易于集成到现有的RLHF流程中，具有广泛的应用前景。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) has shown promise in aligning large language models (LLMs). Yet its reliance on a singular reward model often overlooks the diversity of human preferences. Recent approaches address this limitation by leveraging multi-dimensional feedback to fine-tune corresponding reward models and train LLMs using reinforcement learning. However, the process is costly and unstable, especially given the competing and heterogeneous nature of human preferences. In this paper, we propose Mixing Preference Optimization (MPO), a post-processing framework for aggregating single-objective policies as an alternative to both multi-objective RLHF (MORLHF) and MaxMin-RLHF. MPO avoids alignment from scratch. Instead, it log-linearly combines existing policies into a unified one with the weight of each policy computed via a batch stochastic mirror descent. Empirical results demonstrate that MPO achieves balanced performance across diverse preferences, outperforming or matching existing models with significantly reduced computational costs.