CP-LLM: Context and Pixel Aware Large Language Model for Video Quality Assessment

📄 arXiv: 2505.16025v2 📥 PDF

作者: Wen Wen, Yaohong Wu, Yue Sheng, Neil Birkbeck, Balu Adsumilli, Yilin Wang

分类: cs.CV, cs.MM, eess.IV

发布日期: 2025-05-21 (更新: 2025-07-27)

备注: Under review

💡 一句话要点

CP-LLM：上下文与像素感知的大语言模型用于视频质量评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频质量评估 大语言模型 多模态学习 上下文感知 像素感知 双视觉编码器 多任务学习

📋 核心要点

  1. 现有VQA模型缺乏对视频上下文的理解，且基于LLM的模型对细微失真不敏感，或将质量评分与描述分离。
  2. CP-LLM采用双视觉编码器，分别处理视频上下文和像素失真，并通过语言解码器进行融合推理。
  3. 实验表明，CP-LLM在跨数据集上取得了SOTA性能，并对像素失真表现出更强的鲁棒性。

📝 摘要（中文）

视频质量评估(VQA)是一个具有广泛应用且充满挑战的研究课题。有效的VQA需要对像素级失真敏感，并全面理解视频上下文，以准确确定失真的感知影响。传统的基于手工特征和学习的VQA模型主要关注像素级失真，缺乏上下文理解，而最近基于LLM的模型难以对小失真敏感，或者将质量评分和描述作为单独的任务处理。为了解决这些缺点，我们引入了CP-LLM：一个上下文和像素感知的大语言模型。CP-LLM是一种新颖的多模态LLM架构，具有双视觉编码器，旨在独立分析高层（视频上下文）和低层（像素失真）粒度的感知质量，以及一个语言解码器，随后推理这些方面之间的相互作用。这种设计使CP-LLM能够同时产生鲁棒的质量分数和可解释的质量描述，并增强对像素失真（例如压缩伪影）的敏感性。该模型通过多任务流水线进行训练，优化分数预测、描述生成和成对比较。实验结果表明，CP-LLM在已建立的VQA基准测试中实现了最先进的跨数据集性能，并且对像素失真具有卓越的鲁棒性，证实了其在实际场景中进行全面和实用的视频质量评估的有效性。

🔬 方法详解

问题定义：论文旨在解决视频质量评估中，现有方法无法兼顾像素级失真敏感性和视频上下文理解的问题。传统方法侧重像素级失真，忽略了视频内容的语义信息；而基于LLM的方法，要么对细微失真不敏感，要么无法同时进行质量评分和描述生成，导致评估结果不够全面和准确。

核心思路：CP-LLM的核心思路是利用双视觉编码器分别提取视频的上下文信息和像素级失真特征，然后通过一个语言解码器将这两种信息融合起来，从而实现对视频质量的全面评估。这种设计使得模型既能关注到细微的像素失真，又能理解视频内容的语义信息，从而产生更准确、更鲁棒的质量评分和可解释的质量描述。

技术框架：CP-LLM的整体架构包含两个视觉编码器和一个语言解码器。第一个视觉编码器用于提取视频的上下文特征，例如场景、对象和动作等。第二个视觉编码器用于提取像素级的失真特征，例如压缩伪影、模糊和噪声等。然后，语言解码器将这两个编码器的输出作为输入，生成视频的质量评分和质量描述。模型采用多任务学习的方式进行训练，同时优化评分预测、描述生成和成对比较三个任务。

关键创新：CP-LLM的关键创新在于其双视觉编码器的设计，它能够独立地分析视频的上下文信息和像素级失真特征，从而实现对视频质量的全面评估。此外，模型采用多任务学习的方式进行训练，能够同时优化评分预测、描述生成和成对比较三个任务，从而提高模型的性能和泛化能力。

关键设计：CP-LLM的具体实现细节未知，摘要中没有给出视觉编码器和语言解码器的具体网络结构，以及损失函数的具体形式。但可以推测，视觉编码器可能采用卷积神经网络或Transformer等结构，语言解码器可能采用Transformer或LSTM等结构。损失函数可能包含评分预测损失、描述生成损失和成对比较损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CP-LLM在多个VQA基准数据集上取得了SOTA性能，并且对像素失真具有更强的鲁棒性。具体性能数据和对比基线未知，但论文强调了CP-LLM在跨数据集上的优越表现，表明其具有良好的泛化能力。此外，CP-LLM能够同时生成质量评分和可解释的质量描述，为用户提供更全面的视频质量信息。

🎯 应用场景

CP-LLM可应用于视频监控、视频会议、流媒体服务等领域，用于评估视频质量，优化视频编码和传输策略，提升用户体验。该研究的实际价值在于提供了一种更准确、更鲁棒的视频质量评估方法，有助于提高视频相关应用的性能和用户满意度。未来，该方法有望应用于更多视频处理和分析任务中。

📄 摘要（原文）

Video quality assessment (VQA) is a challenging research topic with broad applications. Effective VQA necessitates sensitivity to pixel-level distortions and a comprehensive understanding of video context to accurately determine the perceptual impact of distortions. Traditional hand-crafted and learning-based VQA models mainly focus on pixel-level distortions and lack contextual understanding, while recent LLM-based models struggle with sensitivity to small distortions or handle quality scoring and description as separate tasks. To address these shortcomings, we introduce CP-LLM: a Context and Pixel aware Large Language Model. CP-LLM is a novel multimodal LLM architecture featuring dual vision encoders designed to independently analyze perceptual quality at both high-level (video context) and low-level (pixel distortion) granularity, along with a language decoder subsequently reasons about the interplay between these aspects. This design enables CP-LLM to simultaneously produce robust quality scores and interpretable quality descriptions, with enhanced sensitivity to pixel distortions (e.g. compression artifacts). The model is trained via a multi-task pipeline optimizing for score prediction, description generation, and pairwise comparisons. Experiment results demonstrate that CP-LLM achieves state-of-the-art cross-dataset performance on established VQA benchmarks and superior robustness to pixel distortions, confirming its efficacy for comprehensive and practical video quality assessment in real-world scenarios.