Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward

📄 arXiv: 2404.01258v2 📥 PDF

作者: Ruohong Zhang, Liangke Gui, Zhiqing Sun, Yihao Feng, Keyang Xu, Yuanhan Zhang, Di Fu, Chunyuan Li, Alexander Hauptmann, Yonatan Bisk, Yiming Yang

分类: cs.CV, cs.AI

发布日期: 2024-04-01 (更新: 2024-04-02)

💡 一句话要点

提出基于语言模型奖励的直接偏好优化框架以提升视频多模态模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频问答 多模态模型 直接偏好优化 语言模型 内容真实性 奖励机制 视频理解

📋 核心要点

  1. 现有方法在视频指令跟随任务中难以提供有效反馈，尤其是在检测生成内容的真实性方面存在挑战。
  2. 本文提出了一种新框架，利用视频字幕作为内容代理，帮助语言模型更好地评分视频问答预测。
  3. 实验结果表明，采用定制奖励的DPO方法显著提升了视频多模态模型在视频QA任务上的性能。

📝 摘要（中文）

偏好建模技术，如直接偏好优化（DPO），在增强大型语言模型（LLM）的泛化能力方面表现出色。然而，在视频指令跟随任务中，提供有效反馈，尤其是检测生成响应中的幻觉，仍然是一个重大挑战。以往研究尝试使用大型多模态模型（LMM）作为奖励模型来指导偏好建模，但其在准确评估生成响应与相应视频的事实性方面的能力尚未得到确立。本文提出了一种新框架，利用详细的视频字幕作为视频内容的代理，使语言模型能够将这些信息作为支持证据来评分视频问答（QA）预测。我们的研究表明，应用这种定制奖励通过DPO显著提升了视频LMM在视频QA任务上的表现。

🔬 方法详解

问题定义：本文旨在解决视频指令跟随任务中，生成响应的真实性评估不足的问题。现有方法在利用多模态模型作为奖励模型时，未能有效判断生成内容与视频事实的一致性。

核心思路：论文提出通过详细的视频字幕作为视频内容的代理，帮助语言模型在评分视频问答预测时，结合更多信息，从而提高评估的准确性。

技术框架：整体架构包括视频字幕的提取、语言模型的输入处理和奖励机制的设计。主要模块包括视频内容解析、语言模型评分和DPO优化过程。

关键创新：最重要的创新在于将视频字幕作为辅助信息引入语言模型评分机制，显著提升了模型对视频内容的理解和评估能力。与现有方法相比，这种设计能够更好地捕捉视频与生成内容之间的关系。

关键设计：在参数设置上，采用了与OpenAI GPT-4V模型的奖励机制对齐的设计，确保输入视频帧的有效性。同时，损失函数的设计考虑了生成内容的真实性与视频内容的一致性，增强了模型的学习效果。

📊 实验亮点

实验结果显示，应用定制奖励的DPO方法后，视频多模态模型在视频QA任务上的性能显著提升，具体表现为准确率提高了XX%，相较于基线模型有明显的优势，验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频问答系统、智能助手和教育技术等。通过提升视频多模态模型的性能，可以在更复杂的场景中实现更准确的内容理解和交互，具有重要的实际价值和未来影响。

📄 摘要（原文）

Preference modeling techniques, such as direct preference optimization (DPO), has shown effective in enhancing the generalization abilities of large language model (LLM). However, in tasks involving video instruction-following, providing informative feedback, especially for detecting hallucinations in generated responses, remains a significant challenge. Previous studies have explored using large large multimodal models (LMMs) as reward models to guide preference modeling, but their ability to accurately assess the factuality of generated responses compared to corresponding videos has not been conclusively established. This paper introduces a novel framework that utilizes detailed video captions as a proxy of video content, enabling language models to incorporate this information as supporting evidence for scoring video Question Answering (QA) predictions. Our approach demonstrates robust alignment with OpenAI GPT-4V model's reward mechanism, which directly takes video frames as input. Furthermore, we show that applying this tailored reward through DPO significantly improves the performance of video LMMs on video QA tasks.