ViLBench: A Suite for Vision-Language Process Reward Modeling

📄 arXiv: 2503.20271v1 📥 PDF

作者: Haoqin Tu, Weitao Feng, Hardy Chen, Hui Liu, Xianfeng Tang, Cihang Xie

分类: cs.CV, cs.CL

发布日期: 2025-03-26

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ViLBench，用于评估视觉-语言过程奖励模型的细粒度反馈能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 过程奖励模型 基准测试 多模态学习 强化学习 思维链 奖励建模

📋 核心要点

  1. 现有视觉-语言模型在复杂任务中缺乏细粒度的过程监督，难以有效选择推理轨迹。
  2. 提出ViLBench基准测试，专注于评估视觉-语言模型的过程奖励建模能力，提供更密集的反馈信号。
  3. 实验表明，现有VLLM在ViLBench上表现不佳，GPT-4o的CoT准确率仅为27.3%，凸显了该基准的挑战性。

📝 摘要（中文）

过程监督奖励模型（PRM）作为一种细粒度函数，为模型响应提供详细的逐步反馈，从而有效选择复杂任务的推理轨迹。尽管PRM具有优势，但对其评估仍有待探索，尤其是在多模态领域。为了弥补这一差距，本文首先对当前的视觉大语言模型（VLLM）作为两种类型的奖励模型进行基准测试：输出奖励模型（ORM）和过程奖励模型（PRM），结果表明，ORM和PRM在所有任务中均未始终优于对方，并且优秀的VLLM不一定产生更好的奖励性能。为了进一步推进评估，我们引入了ViLBench，这是一个视觉-语言基准，旨在需要密集的流程奖励信号。值得注意的是，OpenAI的GPT-4o与思维链（CoT）仅达到27.3％的准确率，表明该基准对当前的VLLM具有挑战性。最后，我们初步展示了一种弥合通用VLLM和奖励模型之间差距的有希望的途径——通过使用增强的树搜索算法收集73.6K视觉-语言过程奖励数据，我们的3B模型能够通过选择OpenAI o1的生成结果，在标准CoT上实现平均3.3％的改进，并且与ViLBench上未经训练的对应模型相比，最多可提高2.5％。我们在https://ucsc-vlaa.github.io/ViLBench上发布了包含代码、模型和数据的实现。

🔬 方法详解

问题定义：论文旨在解决视觉-语言模型（VLLM）在复杂任务中缺乏有效的过程监督和奖励建模的问题。现有的输出奖励模型（ORM）和过程奖励模型（PRM）在不同任务上的表现不一致，且优秀的VLLM不一定能产生更好的奖励性能。因此，需要一个更具挑战性的基准来评估VLLM的过程奖励建模能力。

核心思路：论文的核心思路是构建一个需要密集过程奖励信号的视觉-语言基准测试ViLBench。通过设计需要逐步推理和反馈的任务，ViLBench能够更有效地评估VLLM在理解和利用过程信息方面的能力。此外，论文还探索了通过收集过程奖励数据来提升VLLM性能的途径。

技术框架：ViLBench是一个视觉-语言基准测试套件，包含多种需要过程奖励信号的任务。论文首先对现有VLLM作为ORM和PRM进行了基准测试，然后引入ViLBench进行更深入的评估。为了提升模型性能，论文使用增强的树搜索算法收集了视觉-语言过程奖励数据，并训练了一个3B模型。该模型通过选择OpenAI o1的生成结果，在ViLBench上实现了性能提升。

关键创新：论文的关键创新在于提出了ViLBench基准测试，它专门设计用于评估VLLM的过程奖励建模能力。与现有的视觉-语言基准测试相比，ViLBench更侧重于需要密集过程奖励信号的任务，能够更有效地评估模型在理解和利用过程信息方面的能力。此外，论文还探索了通过收集过程奖励数据来提升VLLM性能的途径，并取得了初步成果。

关键设计：ViLBench的任务设计需要VLLM进行逐步推理和反馈，例如视觉问答、视觉推理等。增强的树搜索算法用于收集高质量的过程奖励数据。3B模型的训练目标是最大化过程奖励，从而提升其在ViLBench上的性能。论文还探索了不同的奖励函数和训练策略，以进一步提升模型性能。具体参数设置和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

ViLBench基准测试表明，现有VLLM在需要密集过程奖励信号的任务上表现不佳，GPT-4o的CoT准确率仅为27.3%。通过使用增强的树搜索算法收集过程奖励数据，并训练一个3B模型，可以在ViLBench上实现性能提升，平均提升3.3%，最高提升2.5%（与未经训练的模型相比）。

🎯 应用场景

该研究成果可应用于提升视觉-语言模型的推理能力和决策能力，例如在机器人导航、智能客服、自动驾驶等领域。通过提供更细粒度的过程监督，可以使模型更好地理解任务目标，并做出更合理的决策。此外，ViLBench可以作为评估和改进视觉-语言模型过程奖励建模能力的有效工具。

📄 摘要（原文）

Process-supervised reward models serve as a fine-grained function that provides detailed step-wise feedback to model responses, facilitating effective selection of reasoning trajectories for complex tasks. Despite its advantages, evaluation on PRMs remains less explored, especially in the multimodal domain. To address this gap, this paper first benchmarks current vision large language models (VLLMs) as two types of reward models: output reward models (ORMs) and process reward models (PRMs) on multiple vision-language benchmarks, which reveal that neither ORM nor PRM consistently outperforms across all tasks, and superior VLLMs do not necessarily yield better rewarding performance. To further advance evaluation, we introduce ViLBench, a vision-language benchmark designed to require intensive process reward signals. Notably, OpenAI's GPT-4o with Chain-of-Thought (CoT) achieves only 27.3% accuracy, indicating the benchmark's challenge for current VLLMs. Lastly, we preliminarily showcase a promising pathway towards bridging the gap between general VLLMs and reward models -- by collecting 73.6K vision-language process reward data using an enhanced tree-search algorithm, our 3B model is able to achieve an average improvement of 3.3% over standard CoT and up to 2.5% compared to its untrained counterpart on ViLBench by selecting OpenAI o1's generations. We release the implementations at https://ucsc-vlaa.github.io/ViLBench with our code, model, and data.