Automated Multi-level Preference for MLLMs

📄 arXiv: 2405.11165v4 📥 PDF

作者: Mengxi Zhang, Wenhao Wu, Yu Lu, Yuxin Song, Kang Rong, Huanjin Yao, Jianbo Zhao, Fanglong Liu, Yifan Sun, Haocheng Feng, Jingdong Wang

分类: cs.CV

发布日期: 2024-05-18 (更新: 2024-05-29)

备注: Preprint

🔗 代码/项目: GITHUB

💡 一句话要点

提出AMP框架，通过自动化多级偏好学习提升多模态大语言模型性能，减少幻觉。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 幻觉 强化学习 多级偏好 直接偏好优化

📋 核心要点

  1. 多模态大语言模型易产生幻觉，生成与输入图像不符的内容，现有方法难以有效区分细微差异。
  2. 提出自动化多级偏好(AMP)框架，通过多级偏好学习和跨级别比较，提升模型对细微差异的辨别能力。
  3. 实验表明，AMP框架在幻觉和通用基准测试中均表现出色，验证了其有效性。

📝 摘要（中文）

当前的多模态大语言模型(MLLM)存在“幻觉”问题，即生成的内容与输入图像不符。为了解决这个问题，一个有前景的途径是利用基于人类反馈的强化学习(RLHF)，引导MLLM学习更优的响应，同时避免较差的响应。我们重新思考了使用二元偏好（即，优，劣）的常见做法，发现采用多级偏好（例如，优，中，劣）更好，因为它有两个好处：1）缩小了相邻级别之间的差距，从而鼓励MLLM辨别细微的差异。2）它进一步整合了跨级别的比较（超越相邻级别的比较），从而提供了更广泛的幻觉示例比较范围。为了验证我们的观点，我们提出了用于MLLM的自动化多级偏好(AMP)框架。为了促进这个框架，我们首先开发了一个自动化的数据集生成管道，该管道提供了高质量的多级偏好数据集，而无需任何人工标注员。此外，我们设计了多级直接偏好优化(MDPO)算法，以稳健地进行复杂的多级偏好学习。此外，我们提出了一个新的幻觉基准，MRHal-Bench。在公共幻觉和通用基准以及我们的MRHal-Bench上的大量实验证明了我们提出的方法的有效性。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型（MLLM）中存在的“幻觉”问题，即模型生成的内容与输入图像不一致。现有方法通常采用二元偏好（优/劣）进行训练，但这种方法无法有效区分细微的差异，导致模型难以避免幻觉的产生。

核心思路：论文的核心思路是引入多级偏好（例如，优/中/劣）来训练MLLM。通过更细粒度的偏好划分，缩小相邻级别之间的差距，鼓励模型辨别细微的差异。同时，引入跨级别比较，提供更广泛的幻觉示例比较范围，从而提升模型的鲁棒性。

技术框架：AMP框架包含三个主要组成部分：1) 自动化数据集生成管道：用于生成高质量的多级偏好数据集，无需人工标注。2) 多级直接偏好优化(MDPO)算法：用于稳健地进行复杂的多级偏好学习。3) 幻觉基准MRHal-Bench：用于评估模型在幻觉问题上的表现。整体流程是先通过自动化管道生成多级偏好数据，然后使用MDPO算法训练MLLM，最后使用MRHal-Bench评估模型性能。

关键创新：论文的关键创新在于提出了自动化多级偏好学习框架，并设计了相应的MDPO算法。与传统的二元偏好学习相比，多级偏好学习能够更好地捕捉细微的差异，从而提升模型的性能。此外，自动化数据集生成管道降低了数据标注的成本，使得多级偏好学习更易于实现。

关键设计：自动化数据集生成管道的具体实现细节未知。MDPO算法的具体形式未知，但其目标是最大化模型对多级偏好的拟合程度。MRHal-Bench基准测试的具体指标和评估方法未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在公共幻觉和通用基准测试以及提出的MRHal-Bench上进行了大量实验。实验结果表明，提出的AMP框架能够有效减少多模态大语言模型的幻觉，并在各项指标上取得显著提升。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于各种需要多模态信息理解的场景，例如智能问答、图像描述生成、视觉对话等。通过减少多模态大语言模型的幻觉，可以提升用户体验，增强模型在实际应用中的可靠性。未来，该方法有望推广到其他多模态任务，并与其他技术相结合，进一步提升多模态模型的性能。

📄 摘要（原文）

Current multimodal Large Language Models (MLLMs) suffer from ``hallucination'', occasionally generating responses that are not grounded in the input images. To tackle this challenge, one promising path is to utilize reinforcement learning from human feedback (RLHF), which steers MLLMs towards learning superior responses while avoiding inferior ones. We rethink the common practice of using binary preferences (i.e., superior, inferior), and find that adopting multi-level preferences (e.g., superior, medium, inferior) is better for two benefits: 1) It narrows the gap between adjacent levels, thereby encouraging MLLMs to discern subtle differences. 2) It further integrates cross-level comparisons (beyond adjacent-level comparisons), thus providing a broader range of comparisons with hallucination examples. To verify our viewpoint, we present the Automated Multi-level Preference (AMP) framework for MLLMs. To facilitate this framework, we first develop an automated dataset generation pipeline that provides high-quality multi-level preference datasets without any human annotators. Furthermore, we design the Multi-level Direct Preference Optimization (MDPO) algorithm to robustly conduct complex multi-level preference learning. Additionally, we propose a new hallucination benchmark, MRHal-Bench. Extensive experiments across public hallucination and general benchmarks, as well as our MRHal-Bench, demonstrate the effectiveness of our proposed method. Code is available at https://github.com/takomc/amp.