BaseReward: A Strong Baseline for Multimodal Reward Model

📄 arXiv: 2509.16127v1 📥 PDF

作者: Yi-Fan Zhang, Haihua Yang, Huanyu Zhang, Yang Shi, Zezhou Chen, Haochen Tian, Chaoyou Fu, Haotian Wang, Kai Wu, Bo Cui, Xu Wang, Jianfei Pan, Haotian Wang, Zhang Zhang, Liang Wang

分类: cs.CV

发布日期: 2025-09-19

💡 一句话要点

BaseReward：多模态奖励模型新基准，为MLLM对齐提供有效方案。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 奖励模型 大型语言模型 人类偏好对齐 强化学习 基准模型 Qwen2.5-VL

📋 核心要点

  1. 现有多模态大型语言模型缺乏与人类偏好对齐的有效方法，奖励模型构建缺乏系统性指导。
  2. 提出BaseReward，通过系统实验分析，优化奖励建模范式、数据、模型结构和训练策略。
  3. BaseReward在多个基准测试中达到SOTA，并成功应用于实际强化学习流程，提升MLLM性能。

📝 摘要（中文）

多模态大型语言模型（MLLM）的快速发展使得如何将其与人类偏好对齐成为一项关键挑战。奖励模型（RM）是实现此目标的核心技术，但目前学术界和工业界都缺乏构建最先进的多模态奖励模型（MRM）的系统性指南。本文通过详尽的实验分析，旨在为构建高性能MRM提供清晰的“配方”。我们系统地研究了MRM开发流程中的每个关键组件，包括奖励建模范式（例如，Naive-RM、基于Critic的RM和生成式RM）、奖励头架构、训练策略、数据整理（涵盖十多个多模态和纯文本偏好数据集）、骨干模型和模型规模以及集成方法。基于这些实验见解，我们推出了BaseReward，这是一个强大而高效的多模态奖励建模基准。BaseReward采用简单而有效的架构，建立在Qwen2.5-VL骨干之上，具有优化的两层奖励头，并在精心策划的高质量多模态和纯文本偏好数据的混合上进行训练。我们的结果表明，BaseReward在MM-RLHF-Reward Bench、VL-Reward Bench和Multimodal Reward Bench等主要基准上建立了新的SOTA，优于之前的模型。此外，为了验证其在静态基准之外的实际效用，我们将BaseReward集成到真实的强化学习流程中，成功地提高了MLLM在各种感知、推理和对话任务中的性能。这项工作不仅提供了一个顶级的MRM，更重要的是，为社区提供了一个清晰的、基于经验的指南，用于为下一代MLLM开发强大的奖励模型。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型（MLLM）与人类偏好对齐的问题。现有的多模态奖励模型（MRM）构建缺乏系统性指导，导致模型性能难以提升，且缺乏在实际强化学习环境中的有效验证。

核心思路：论文的核心思路是通过详尽的实验分析，系统地研究MRM开发流程中的每个关键组件，包括奖励建模范式、奖励头架构、训练策略、数据整理、骨干模型和模型规模以及集成方法。基于实验结果，构建一个强大而高效的MRM基准模型BaseReward。

技术框架：BaseReward的整体架构基于Qwen2.5-VL骨干模型，并采用优化的两层奖励头。训练流程包括数据整理阶段，使用高质量的多模态和纯文本偏好数据混合进行训练。最终，将训练好的BaseReward集成到强化学习流程中，以验证其在实际任务中的性能。

关键创新：论文的关键创新在于提供了一个系统性的MRM构建指南，并通过实验验证了各个组件对模型性能的影响。BaseReward作为一个强大的基准模型，为后续研究提供了参考。此外，将MRM应用于实际强化学习流程，验证了其在真实场景中的有效性。

关键设计：BaseReward的关键设计包括：选择Qwen2.5-VL作为骨干模型，优化奖励头为两层结构，并精心策划高质量的多模态和纯文本偏好数据混合进行训练。具体的损失函数和训练参数等细节未在摘要中明确提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

BaseReward在MM-RLHF-Reward Bench、VL-Reward Bench和Multimodal Reward Bench等主要基准上取得了SOTA性能，超越了之前的模型。此外，通过在实际强化学习流程中的应用，验证了BaseReward能够有效提升MLLM在各种感知、推理和对话任务中的性能。

🎯 应用场景

该研究成果可广泛应用于多模态大型语言模型的对齐训练，提升模型在感知、推理和对话等任务中的性能。BaseReward可作为基准模型，加速相关研究进展。实际应用包括智能助手、视觉问答、机器人控制等领域，提升人机交互的自然性和有效性。

📄 摘要（原文）

The rapid advancement of Multimodal Large Language Models (MLLMs) has made aligning them with human preferences a critical challenge. Reward Models (RMs) are a core technology for achieving this goal, but a systematic guide for building state-of-the-art Multimodal Reward Models (MRMs) is currently lacking in both academia and industry. Through exhaustive experimental analysis, this paper aims to provide a clear ``recipe'' for constructing high-performance MRMs. We systematically investigate every crucial component in the MRM development pipeline, including \textit{reward modeling paradigms} (e.g., Naive-RM, Critic-based RM, and Generative RM), \textit{reward head architecture}, \textit{training strategies}, \textit{data curation} (covering over ten multimodal and text-only preference datasets), \textit{backbone model} and \textit{model scale}, and \textit{ensemble methods}. Based on these experimental insights, we introduce \textbf{BaseReward}, a powerful and efficient baseline for multimodal reward modeling. BaseReward adopts a simple yet effective architecture, built upon a {Qwen2.5-VL} backbone, featuring an optimized two-layer reward head, and is trained on a carefully curated mixture of high-quality multimodal and text-only preference data. Our results show that BaseReward establishes a new SOTA on major benchmarks such as MM-RLHF-Reward Bench, VL-Reward Bench, and Multimodal Reward Bench, outperforming previous models. Furthermore, to validate its practical utility beyond static benchmarks, we integrate BaseReward into a real-world reinforcement learning pipeline, successfully enhancing an MLLM's performance across various perception, reasoning, and conversational tasks. This work not only delivers a top-tier MRM but, more importantly, provides the community with a clear, empirically-backed guide for developing robust reward models for the next generation of MLLMs.