Unsupervised Multimodal Reward Modeling
作者: Yueying Li, Jingxuan Fan, Kianté Brantley, Sham M. Kakade, Hanlin Zhang
分类: cs.CL, cs.AI, cs.CV
发布日期: 2026-10-08
💡 一句话要点
提出无监督多模态奖励建模方法以降低标注成本
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无监督学习 多模态奖励建模 视觉-语言模型 扰动样本 模型优化
📋 核心要点
- 现有的视觉-语言奖励模型依赖于昂贵且可能不一致的人工标注数据，限制了其应用。
- 本文提出了一种无监督的方法，通过冻结的Qwen3-VL骨干网络中间层的线性头进行训练，避免了人工标注的需求。
- 实验结果显示，该方法在多个基准上超越了传统模型，且在计算资源和标注成本上显著降低。
📝 摘要（中文）
现有的视觉-语言奖励模型依赖于人工标注的偏好对，这些数据收集成本高且可能存在不一致性。本文提出了一种无需人工偏好标签的模型，通过在冻结的Qwen3-VL骨干网络的中间层上构建线性头，训练其对网络捕获的文本进行评分。实验表明，该方法在多个基准上表现优异，且在标注成本和计算资源上显著降低。通过对扰动样本的训练，模型在奖励评分上超越了传统的标注对，展示了无监督学习的潜力。
🔬 方法详解
问题定义：现有的视觉-语言奖励模型依赖于人工标注的偏好对，这些数据收集成本高且可能存在不一致性，限制了模型的广泛应用。
核心思路：本文提出了一种无监督的奖励建模方法，通过在冻结的Qwen3-VL骨干网络的中间层上构建线性头，训练其对文本捕获的评分，避免了人工偏好标签的需求。
技术框架：整体架构包括一个冻结的骨干网络和一个线性头，训练过程中使用扰动样本进行评分，模型通过选择合适的中间层进行优化。
关键创新：最重要的技术创新在于使用无监督学习方法，通过扰动样本训练模型，显著提高了模型的性能，并且避免了传统方法中对人工标注的依赖。
关键设计：模型的关键设计包括选择合适的中间层进行训练，使用扰动样本进行评分，以及通过无监督方式优化模型的目标函数，确保了模型的收敛性和性能提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在VL-RewardBench基准上超越了GPT-4o，提升幅度达到6.6分。此外，使用扰动样本训练的模型在相同预算下比传统的RLAIF-V对提高了3到5分，展示了无监督学习的优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等。通过降低对人工标注的依赖，该方法可以在更多实际场景中应用，提升多模态系统的效率和灵活性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision-language reward models are trained on annotated preference pairs, which are expensive to collect, can disagree, and are ranked by benchmark accuracy. We build one with no human preference label: a linear head on an intermediate layer of a frozen Qwen3-VL backbone, trained to score a web caption above a perturbed version of the same caption; labeled data enters only to select the layer. The layer is the decisive choice, worth 5.8 points over the last layer, and one recipe transferred without re-tuning beats or at least matches GPT-4o on three benchmarks at 32B, 6.6 points ahead on VL-RewardBench, from a few thousand parameters at about a thousandth of fine-tuning compute. At an equal pair budget, perturbations teach a frozen head 3 to 5 points more than curated RLAIF-V pairs. Because the backbone is frozen, the objective is convex, and the perturbation sampler specifies the reward, which the benchmark does not identify: two heads trained on disjoint halves of the same perturbations tie on the benchmark and differ by 6.4 points in hallucination judging. Retraining the head on the policy's own verifier-labeled candidates cuts caption hallucination by 5.1 CHAIR points and lifts image-generation pass rate by 5.4, while scoring lower on every reward benchmark. Together, an intermediate-layer probe, free same-image perturbations, and a verifier-driven bootstrap turn give a recipe for multimodal reward modeling that needs no annotator, costs a fraction of fine-tuning, and is specified by the comparisons it is trained on rather than by a benchmark rank.