Transferring Textual Preferences to Vision-Language Understanding through Model Merging

📄 arXiv: 2502.13487v2 📥 PDF

作者: Chen-An Li, Tzu-Han Lin, Yun-Nung Chen, Hung-yi Lee

分类: cs.CL, cs.AI, cs.CV, cs.LG

发布日期: 2025-02-19 (更新: 2025-05-22)

备注: Accepted to ACL 2025 main

💡 一句话要点

通过模型融合将文本偏好迁移到视觉-语言理解模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 模型融合 奖励模型 文本偏好 知识迁移 免训练学习 多模态学习

📋 核心要点

  1. 大型视觉-语言模型在内容评估方面存在局限性，且训练视觉-语言奖励模型成本高昂。
  2. 该论文提出通过模型融合，将文本奖励模型的偏好知识迁移到视觉-语言模型中，无需额外训练。
  3. 实验表明，融合后的模型在评分和性能上优于原始视觉-语言模型和文本奖励模型。

📝 摘要（中文）

大型视觉-语言模型（LVLMs）在各种多模态任务中表现出色。然而，它们评估生成内容的能力仍然有限，并且使用偏好数据训练视觉-语言奖励模型（VLRMs）的计算成本很高。本文探索了一种无需训练的替代方案，通过将基于文本的奖励模型（RMs）与LVLMs融合来创建VLRMs。我们的方法表明，整合这些模型可以提高LVLMs的评分和基于文本的RMs的性能，从而为将文本偏好纳入LVLMs提供了一种有效的方法。

🔬 方法详解

问题定义：现有的大型视觉-语言模型（LVLMs）在生成内容后，缺乏有效的评估机制，难以判断生成结果是否符合人类的偏好。直接训练视觉-语言奖励模型（VLRMs）需要大量的标注数据和计算资源，成本高昂。因此，如何高效地将人类的文本偏好融入LVLMs，提升其内容评估能力是一个关键问题。

核心思路：该论文的核心思路是通过模型融合，将预训练的文本奖励模型（RMs）的知识迁移到LVLMs中。由于文本RMs已经学习了人类对文本内容的偏好，通过融合，LVLMs可以直接利用这些知识来评估视觉-语言生成的内容，而无需从头开始训练VLRMs。这种方法避免了昂贵的训练过程，实现了知识的有效迁移。

技术框架：该方法主要包含两个阶段：首先，选择一个预训练的LVLM和一个预训练的文本RM。然后，使用模型融合技术，将文本RM的权重与LVLM的相应权重进行合并，从而创建一个新的VLRM。具体来说，论文可能采用了加权平均或其他更复杂的融合策略。融合后的VLRM可以直接用于评估视觉-语言生成的内容，并根据文本偏好进行排序或选择。

关键创新：该论文的关键创新在于提出了一种无需训练的VLRM构建方法。通过模型融合，有效地将文本偏好知识迁移到LVLMs中，避免了从头开始训练VLRMs的计算成本。这种方法不仅高效，而且可以利用现有的预训练模型，降低了对大量标注数据的需求。

关键设计：具体的模型融合策略是关键设计之一。论文可能探索了不同的权重分配方案，例如根据模型的大小或性能来调整权重。此外，如何选择合适的LVLM和文本RM也是一个重要的考虑因素。论文可能还研究了不同的融合层，例如只融合某些特定的层，以避免破坏LVLM的原始能力。损失函数方面，由于是免训练方法，因此没有涉及损失函数的设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究的主要亮点在于提出了一种免训练的VLRM构建方法，通过模型融合将文本偏好迁移到LVLM。实验结果表明，融合后的模型在内容评估方面优于原始LVLM和文本RM，证明了该方法的有效性。具体的性能提升数据需要在论文中查找，例如在特定数据集上的评分指标提升了多少。

🎯 应用场景

该研究成果可应用于各种视觉-语言生成任务，例如图像描述生成、视觉问答、多模态对话等。通过融入文本偏好，可以使生成的文本更符合人类的价值观和审美标准，提升用户体验。此外，该方法还可以用于内容审核和推荐系统，过滤掉不符合要求的生成内容，并推荐更符合用户偏好的结果。未来，该方法有望扩展到更复杂的视觉-语言任务中，例如视频理解和机器人导航。

📄 摘要（原文）

Large vision-language models (LVLMs) perform outstandingly across various multimodal tasks. However, their ability to evaluate generated content remains limited, and training vision-language reward models (VLRMs) with preference data is computationally expensive. This paper explores a training-free alternative by merging text-based reward models (RMs) with LVLMs to create VLRMs. Our approach shows that integrating these models leads to improved performance over LVLMs' scoring and text-based RMs, offering an efficient method for incorporating textual preferences into LVLMs.