MM-RLHF: The Next Step Forward in Multimodal LLM Alignment

📄 arXiv: 2502.10391v1 📥 PDF

作者: Yi-Fan Zhang, Tao Yu, Haochen Tian, Chaoyou Fu, Peiyan Li, Jianshu Zeng, Wulin Xie, Yang Shi, Huanyu Zhang, Junkang Wu, Xue Wang, Yibo Hu, Bin Wen, Fan Yang, Zhang Zhang, Tingting Gao, Di Zhang, Liang Wang, Rong Jin, Tieniu Tan

分类: cs.CL, cs.CV

发布日期: 2025-02-14

备注: Project Page: https://mm-rlhf.github.io/

💡 一句话要点

MM-RLHF：通过人类偏好对齐，显著提升多模态大语言模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 人类偏好对齐 强化学习 奖励模型 数据集构建 安全性 对话能力

📋 核心要点

  1. 现有MLLM模型缺乏与人类偏好的充分对齐，限制了其在实际应用中的表现。
  2. MM-RLHF通过构建大规模高质量偏好数据集，并提出基于评论的奖励模型和动态奖励缩放方法，实现更有效的模型对齐。
  3. 实验表明，使用MM-RLHF微调LLaVA-ov-7B，对话能力提升19.5%，安全性提升60%，效果显著。

📝 摘要（中文）

尽管多模态大语言模型(MLLM)取得了显著进展，但大多数最先进的模型尚未与人类偏好进行充分对齐。当前对齐研究主要集中在特定领域(如减少幻觉)，而将模型与人类偏好对齐是否能系统地增强MLLM能力这一更广泛的问题仍未得到充分探索。为此，我们引入了MM-RLHF，一个包含12万个细粒度、人工标注的偏好比较对的数据集。该数据集在规模、多样性、标注粒度和质量方面均优于现有资源。利用该数据集，我们提出几项关键创新，以提高奖励模型的质量和对齐算法的效率。我们引入了一种基于评论的奖励模型，该模型在分配分数之前生成对模型输出的评论，与传统的标量奖励机制相比，提供了增强的可解释性和更丰富的信息反馈。此外，我们提出动态奖励缩放，一种根据奖励信号调整每个样本的损失权重的方法，从而优化高质量比较对的使用。我们的方法在10个不同维度和27个基准上进行了严格评估，结果表明模型性能得到了显著且持续的改进。具体而言，使用MM-RLHF和我们的对齐算法对LLaVA-ov-7B进行微调，使对话能力提高了19.5%，安全性提高了60%。我们已经开源了偏好数据集、奖励模型、训练和评估代码，以及奖励建模和安全基准。

🔬 方法详解

问题定义：现有的大部分多模态大语言模型虽然在能力上有所提升，但是并没有很好地和人类的偏好对齐。现有的对齐研究主要集中在幻觉减少等特定领域，缺乏对齐模型与人类偏好能否系统性地提升MLLM能力的探索。因此，如何有效地将MLLM与人类偏好对齐，从而提升其整体性能，是一个亟待解决的问题。

核心思路：论文的核心思路是通过构建一个大规模、高质量的人工标注偏好数据集（MM-RLHF），并在此基础上设计更有效的奖励模型和对齐算法，从而实现MLLM与人类偏好的更好对齐。通过引入基于评论的奖励模型和动态奖励缩放方法，可以更准确地评估模型输出的质量，并更有效地利用高质量的偏好数据。

技术框架：整体框架包括以下几个主要阶段：1) 构建MM-RLHF数据集，包含12万个细粒度的人工标注偏好比较对；2) 训练基于评论的奖励模型，该模型在给出奖励分数之前，先对模型输出进行评论；3) 使用动态奖励缩放方法，根据奖励信号调整每个样本的损失权重，优化训练过程；4) 使用强化学习算法（如PPO）对MLLM进行微调，使其与人类偏好对齐；5) 在多个维度和基准上对模型进行评估。

关键创新：论文的关键创新点包括：1) 构建了大规模、高质量的MM-RLHF数据集，为MLLM的对齐提供了充足的数据支持；2) 提出了基于评论的奖励模型，通过生成评论来提供更丰富、更可解释的反馈，优于传统的标量奖励机制；3) 提出了动态奖励缩放方法，可以更有效地利用高质量的偏好数据，提升训练效率。与现有方法相比，该方法能够更准确地评估模型输出的质量，并更有效地指导模型的训练。

关键设计：在基于评论的奖励模型中，使用了Transformer架构，并引入了评论生成模块。评论生成模块的目标是生成对模型输出的自然语言描述，从而提供更详细的反馈信息。动态奖励缩放方法根据奖励信号的大小，动态调整每个样本的损失权重。具体而言，对于奖励信号较高的样本，赋予更高的权重，反之则赋予较低的权重。损失函数使用了标准的交叉熵损失函数，并加入了正则化项，以防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用MM-RLHF和论文提出的对齐算法对LLaVA-ov-7B进行微调后，在对话能力方面提升了19.5%，在安全性方面提升了60%。这些显著的提升表明，该方法能够有效地将MLLM与人类偏好对齐，并提升其整体性能。此外，论文还开源了数据集、奖励模型和训练代码，为后续研究提供了便利。

🎯 应用场景

该研究成果可广泛应用于各种需要多模态理解和生成任务的场景，例如智能客服、虚拟助手、教育辅导、医疗诊断等。通过与人类偏好对齐，MLLM可以生成更符合用户需求、更安全可靠的回复，从而提升用户体验和应用价值。未来，该方法有望进一步推广到其他类型的AI模型，实现更广泛的人工智能对齐。

📄 摘要（原文）

Despite notable advancements in Multimodal Large Language Models (MLLMs), most state-of-the-art models have not undergone thorough alignment with human preferences. This gap exists because current alignment research has primarily achieved progress in specific areas (e.g., hallucination reduction), while the broader question of whether aligning models with human preferences can systematically enhance MLLM capability remains largely unexplored. To this end, we introduce MM-RLHF, a dataset containing $\mathbf{120k}$ fine-grained, human-annotated preference comparison pairs. This dataset represents a substantial advancement over existing resources, offering superior size, diversity, annotation granularity, and quality. Leveraging this dataset, we propose several key innovations to improve both the quality of reward models and the efficiency of alignment algorithms. Notably, we introduce a Critique-Based Reward Model, which generates critiques of model outputs before assigning scores, offering enhanced interpretability and more informative feedback compared to traditional scalar reward mechanisms. Additionally, we propose Dynamic Reward Scaling, a method that adjusts the loss weight of each sample according to the reward signal, thereby optimizing the use of high-quality comparison pairs. Our approach is rigorously evaluated across $\mathbf{10}$ distinct dimensions and $\mathbf{27}$ benchmarks, with results demonstrating significant and consistent improvements in model performance. Specifically, fine-tuning LLaVA-ov-7B with MM-RLHF and our alignment algorithm leads to a $\mathbf{19.5}$% increase in conversational abilities and a $\mathbf{60}$% improvement in safety. We have open-sourced the preference dataset, reward model, training and evaluation code, as well as reward modeling and safety benchmarks. For more details, please visit our project page: https://mm-rlhf.github.io.