LMM-VQA: Advancing Video Quality Assessment with Large Multimodal Models

📄 arXiv: 2408.14008v1 📥 PDF

作者: Qihang Ge, Wei Sun, Yu Zhang, Yunhao Li, Zhongpeng Ji, Fengyu Sun, Shangling Jui, Xiongkuo Min, Guangtao Zhai

分类: cs.CV, cs.AI

发布日期: 2024-08-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出LMM-VQA，利用大型多模态模型提升视频质量评估性能

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频质量评估 大型多模态模型 问答系统 时空特征提取 视觉语言对齐

📋 核心要点

  1. 现有VQA方法难以有效处理视频内容多样性和复杂的时空失真，限制了性能。
  2. LMM-VQA将VQA任务转化为问答形式，利用大型多模态模型强大的视觉理解能力。
  3. 实验结果表明，LMM-VQA在多个VQA基准测试中取得了SOTA性能，泛化能力提升显著。

📝 摘要（中文）

流媒体平台上视频的爆炸式增长凸显了对有效视频质量评估（VQA）算法的迫切需求，以监控和感知优化流媒体视频的质量。然而，由于视频内容的多样性和复杂的时空失真，VQA仍然是一项极具挑战性的任务，因此需要更先进的方法来解决这些问题。目前，诸如GPT-4V等大型多模态模型（LMM）在各种视觉理解任务中表现出强大的能力，这促使我们利用LMM强大的多模态表示能力来解决VQA任务。因此，我们提出了第一个大型多模态视频质量评估（LMM-VQA）模型，该模型引入了一种新颖的时空视觉建模策略，用于质量感知的特征提取。具体来说，我们首先将质量回归问题重新定义为一个问答（Q&A）任务，并构建用于VQA指令调优的Q&A提示。然后，我们设计了一个时空视觉编码器来提取空间和时间特征，以表示视频的质量特征，这些特征随后通过时空投影器映射到语言空间以进行模态对齐。最后，将对齐的视觉tokens和质量查询的文本tokens聚合在一起，作为大型语言模型（LLM）的输入，以生成质量分数和级别。大量的实验表明，LMM-VQA在五个VQA基准测试中实现了最先进的性能，在泛化能力方面比现有方法平均提高了5%。此外，由于时空编码器和投影器的先进设计，LMM-VQA在通用视频理解任务上也表现出色，进一步验证了其有效性。

🔬 方法详解

问题定义：论文旨在解决视频质量评估（VQA）问题，即如何准确、高效地评估视频的质量。现有VQA方法难以有效捕捉视频内容的多样性和复杂的时空失真，导致评估结果与人类感知存在偏差。这些方法通常依赖于手工设计的特征或浅层神经网络，难以充分利用视频中的信息。

核心思路：论文的核心思路是利用大型多模态模型（LMM）强大的视觉理解和推理能力，将VQA任务转化为一个问答（Q&A）问题。通过构建合适的Q&A提示，引导LMM关注视频中的质量相关特征，并生成相应的质量评分。这种方法能够充分利用LMM预训练的知识，提高VQA的准确性和泛化能力。

技术框架：LMM-VQA模型主要包含以下几个模块：1) Q&A提示构建：将VQA任务转化为Q&A形式，设计包含质量相关问题的提示。2) 时空视觉编码器：提取视频帧的空间和时间特征，捕捉视频的质量信息。3) 时空投影器：将视觉特征映射到语言空间，实现视觉和语言模态的对齐。4) 大型语言模型（LLM）：接收对齐的视觉tokens和文本tokens，生成视频的质量评分。

关键创新：LMM-VQA的关键创新在于：1) 将VQA任务转化为Q&A形式，充分利用LMM的问答能力。2) 设计了时空视觉编码器和投影器，有效提取和对齐视频的时空特征。3) 首次将大型多模态模型应用于VQA任务，探索了LMM在视频质量评估中的潜力。与现有方法相比，LMM-VQA能够更好地捕捉视频的质量相关特征，提高VQA的准确性和泛化能力。

关键设计：在时空视觉编码器中，论文可能采用了3D卷积神经网络或Transformer结构来提取时空特征。时空投影器可能采用了线性层或多层感知机（MLP）来实现视觉特征到语言空间的映射。在Q&A提示构建中，需要精心设计问题，例如“视频的整体质量如何？”、“视频中是否存在模糊或失真？”等。损失函数可能包括回归损失（例如均方误差）和分类损失（例如交叉熵损失），用于优化模型的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LMM-VQA在五个VQA基准测试中取得了state-of-the-art的性能，相比现有方法，泛化能力平均提升了5%。这表明LMM-VQA能够有效处理不同类型的视频内容和失真，具有较强的鲁棒性和泛化能力。此外，LMM-VQA在通用视频理解任务上也表现出色，进一步验证了其有效性。

🎯 应用场景

LMM-VQA具有广泛的应用前景，可用于流媒体平台、视频监控系统、视频会议软件等领域，以实现视频质量的自动评估和优化。该研究有助于提升用户观看体验，降低视频传输和存储成本，并为视频质量监控提供技术支持。未来，该方法还可扩展到其他视频理解任务，例如视频内容分析、视频摘要等。

📄 摘要（原文）

The explosive growth of videos on streaming media platforms has underscored the urgent need for effective video quality assessment (VQA) algorithms to monitor and perceptually optimize the quality of streaming videos. However, VQA remains an extremely challenging task due to the diverse video content and the complex spatial and temporal distortions, thus necessitating more advanced methods to address these issues. Nowadays, large multimodal models (LMMs), such as GPT-4V, have exhibited strong capabilities for various visual understanding tasks, motivating us to leverage the powerful multimodal representation ability of LMMs to solve the VQA task. Therefore, we propose the first Large Multi-Modal Video Quality Assessment (LMM-VQA) model, which introduces a novel spatiotemporal visual modeling strategy for quality-aware feature extraction. Specifically, we first reformulate the quality regression problem into a question and answering (Q&A) task and construct Q&A prompts for VQA instruction tuning. Then, we design a spatiotemporal vision encoder to extract spatial and temporal features to represent the quality characteristics of videos, which are subsequently mapped into the language space by the spatiotemporal projector for modality alignment. Finally, the aligned visual tokens and the quality-inquired text tokens are aggregated as inputs for the large language model (LLM) to generate the quality score and level. Extensive experiments demonstrate that LMM-VQA achieves state-of-the-art performance across five VQA benchmarks, exhibiting an average improvement of $5\%$ in generalization ability over existing methods. Furthermore, due to the advanced design of the spatiotemporal encoder and projector, LMM-VQA also performs exceptionally well on general video understanding tasks, further validating its effectiveness. Our code will be released at https://github.com/Sueqk/LMM-VQA.