PerPO: Perceptual Preference Optimization via Discriminative Rewarding

📄 arXiv: 2502.04371v1 📥 PDF

作者: Zining Zhu, Liang Zhao, Kangheng Lin, Jinze Yang, En Yu, Chenglong Liu, Haoran Wei, Jianjian Sun, Zheng Ge, Xiangyu Zhang

分类: cs.AI, cs.CL, cs.LG

发布日期: 2025-02-05

💡 一句话要点

PerPO：通过判别式奖励优化多模态大语言模型的感知偏好对齐

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉判别 感知偏好优化 判别式奖励 列表式排序

📋 核心要点

  1. 现有的MLLM在视觉判别方面存在挑战，难以准确区分细微的视觉差异，影响了其在实际应用中的效果。
  2. PerPO的核心思想是利用判别式奖励机制，收集多样化的负样本，并通过列表式偏好优化来提升模型的视觉判别能力。
  3. 实验结果表明，PerPO显著增强了MLLM的视觉判别能力，同时保持了其生成能力，并在多个视觉任务上取得了优异的性能。

📝 摘要（中文）

本文提出了感知偏好优化（PerPO），一种旨在解决生成式预训练多模态大语言模型（MLLM）中视觉判别挑战的感知对齐方法。为了使MLLM与人类视觉感知过程对齐，PerPO采用判别式奖励来收集多样化的负样本，然后进行列表式偏好优化来对它们进行排序。通过利用奖励作为排序的定量边界，我们的方法有效地桥接了生成式偏好优化和判别式经验风险最小化。PerPO显著增强了MLLM的视觉判别能力，同时保持了其生成优势，缓解了图像无条件奖励利用问题，并确保了跨视觉任务的一致性能。这项工作标志着朝着更具感知对齐和多功能的MLLM迈出了关键一步。我们也希望PerPO能够鼓励社区重新思考MLLM的对齐策略。

🔬 方法详解

问题定义：MLLM在视觉判别任务中表现不佳，难以区分相似但不同的图像，这限制了它们在需要精细视觉理解的应用中的使用。现有的方法可能存在奖励利用问题，即模型学会利用奖励函数的漏洞，而不是真正理解图像内容。

核心思路：PerPO的核心思路是通过判别式奖励来引导模型学习更好的视觉表征。具体来说，它通过生成多样化的负样本，并使用判别器来评估这些样本的质量，从而为模型提供更丰富的学习信号。这种方法旨在使模型能够更好地区分不同的视觉输入，并避免奖励利用问题。

技术框架：PerPO包含以下主要阶段：1) 负样本生成：使用MLLM生成与给定图像相似但不同的负样本。2) 判别式奖励：使用判别器对生成的负样本进行评估，并给出相应的奖励。3) 列表式偏好优化：使用奖励作为排序的依据，对负样本进行排序，并使用排序结果来优化MLLM的参数。

关键创新：PerPO的关键创新在于使用判别式奖励来指导MLLM的训练。与传统的生成式偏好优化方法不同，PerPO使用判别器来评估负样本的质量，从而为模型提供更准确的反馈。此外，PerPO还采用了列表式偏好优化，可以更好地利用排序信息来提升模型的性能。

关键设计：PerPO的关键设计包括：1) 判别器的选择：判别器需要能够准确评估负样本的质量，并给出合理的奖励。可以使用预训练的视觉模型或专门训练的判别器。2) 负样本生成策略：需要设计有效的负样本生成策略，以确保生成的负样本具有多样性，并且与原始图像具有一定的相似性。3) 列表式偏好优化算法：可以使用现有的列表式偏好优化算法，例如RankNet或LambdaRank。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PerPO在多个视觉判别任务上取得了显著的性能提升。例如，在图像编辑任务中，PerPO能够生成更逼真、更符合人类偏好的编辑结果。与现有的方法相比，PerPO在视觉判别准确率方面取得了显著的提升，并且能够有效缓解图像无条件奖励利用问题。

🎯 应用场景

PerPO具有广泛的应用前景，例如图像编辑、图像检索、视觉问答等。它可以用于提升MLLM在这些任务中的性能，使其能够更好地理解和处理视觉信息。此外，PerPO还可以用于开发更具感知对齐和多功能的MLLM，从而推动人工智能技术的发展。

📄 摘要（原文）

This paper presents Perceptual Preference Optimization (PerPO), a perception alignment method aimed at addressing the visual discrimination challenges in generative pre-trained multimodal large language models (MLLMs). To align MLLMs with human visual perception process, PerPO employs discriminative rewarding to gather diverse negative samples, followed by listwise preference optimization to rank them.By utilizing the reward as a quantitative margin for ranking, our method effectively bridges generative preference optimization and discriminative empirical risk minimization. PerPO significantly enhances MLLMs' visual discrimination capabilities while maintaining their generative strengths, mitigates image-unconditional reward hacking, and ensures consistent performance across visual tasks. This work marks a crucial step towards more perceptually aligned and versatile MLLMs. We also hope that PerPO will encourage the community to rethink MLLM alignment strategies.