Enhancing Blind Video Quality Assessment with Rich Quality-aware Features

📄 arXiv: 2405.08745v2 📥 PDF

作者: Wei Sun, Linhan Cao, Jun Jia, Zhichao Zhang, Zicheng Zhang, Xiongkuo Min, Guangtao Zhai

分类: eess.IV, cs.CV, cs.MM

发布日期: 2024-05-14 (更新: 2026-01-04)

备注: RQ-VQA won first place in the CVPR NTIRE 2024 Short-form UGC Video Quality Assessment Challenge

DOI: 10.1016/j.eswa.2025.130452

💡 一句话要点

提出RQ-VQA，利用多源质量感知特征增强盲视频质量评估，提升泛化性

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 盲视频质量评估 多源特征融合 质量感知特征 社交媒体视频 泛化能力 视频质量评估 时空特征 深度学习

📋 核心要点

  1. 现有BVQA模型在特定数据集上表现良好，但在未见过的视频上泛化能力较差，难以准确评估社交媒体视频质量。
  2. RQ-VQA利用多源质量感知特征，包括空间、时间、BIQA和BVQA特征，提升模型在不同视频上的泛化能力。
  3. 实验结果表明，RQ-VQA在三个公共社交媒体VQA数据集上取得了最先进的性能，验证了其有效性。

📝 摘要（中文）

盲视频质量评估（BVQA）极具挑战性，这归因于视频内容和视觉失真的内在复杂性，尤其是在社交媒体视频高度普及的情况下，这些视频来源广泛，并且经常经过各种压缩和增强算法的处理。虽然最近的BVQA和盲图像质量评估（BIQA）研究取得了显著进展，但它们的模型通常在训练数据集上表现良好，但在未见过的视频上泛化能力较差，这使得它们在准确评估各种社交媒体视频的感知质量方面效果不佳。在本文中，我们提出了一种名为Rich Quality-aware features enabled Video Quality Assessment（RQ-VQA）的方法，这是一种简单而有效的方法，通过利用从现成的BIQA和BVQA模型中提取的丰富的质量感知特征来增强BVQA。我们的方法利用现有质量评估模型在其训练领域内的专业知识来提高泛化能力。具体来说，我们设计了一个多源特征框架，该框架集成了：（1）从在目标VQA数据集上微调的基础模型中学习到的可学习空间特征，以捕获特定领域的质量线索；（2）来自在动作识别数据集上预训练的SlowFast快速路径的时间运动特征，以建模与运动相关的失真；（3）来自在各种IQA数据集上训练的BIQA模型的空间质量感知特征，以增强帧级别的失真表示；以及（4）来自在大型VQA数据集上训练的BVQA模型的时空质量感知特征，以联合编码空间结构和时间动态。这些特征被连接起来并输入到多层感知器（MLP）中，以将它们回归为质量分数。实验结果表明，我们的模型在三个公共社交媒体VQA数据集上实现了最先进的性能。

🔬 方法详解

问题定义：盲视频质量评估（BVQA）旨在无需参考视频的情况下，预测视频的感知质量。现有BVQA方法在特定数据集上表现良好，但泛化能力不足，难以应对社交媒体视频来源多样、失真类型复杂的情况。现有方法的痛点在于对不同类型失真的鲁棒性不足，以及难以有效利用已有的质量评估模型。

核心思路：RQ-VQA的核心思路是利用多源质量感知特征，融合来自不同模型和不同模态的信息，从而提高BVQA模型的泛化能力。该方法认为，不同的质量评估模型在各自的训练领域内具有一定的专业知识，通过有效利用这些知识，可以提升模型对各种失真的感知能力。通过融合空间、时间、BIQA和BVQA特征，模型可以更全面地理解视频内容和失真情况。

技术框架：RQ-VQA的整体框架包括以下几个主要模块： 1. 可学习空间特征提取：使用在目标VQA数据集上微调的基础模型提取空间特征，捕捉特定领域的质量线索。 2. 时间运动特征提取：使用在动作识别数据集上预训练的SlowFast模型的快速路径提取时间运动特征，建模与运动相关的失真。 3. 空间质量感知特征提取：使用在各种IQA数据集上训练的BIQA模型提取空间质量感知特征，增强帧级别的失真表示。 4. 时空质量感知特征提取：使用在大型VQA数据集上训练的BVQA模型提取时空质量感知特征，联合编码空间结构和时间动态。 5. 特征融合与质量回归：将提取的特征连接起来，输入到多层感知器（MLP）中，将它们回归为质量分数。

关键创新：RQ-VQA最重要的技术创新点在于其多源特征融合框架。与以往的BVQA方法相比，RQ-VQA不仅利用了空间和时间信息，还充分利用了已有的BIQA和BVQA模型的知识，从而提高了模型的泛化能力。这种多源特征融合的思想可以有效地应对社交媒体视频来源多样、失真类型复杂的情况。

关键设计： * 基础模型选择：论文中使用了特定的基础模型进行微调，但具体模型类型未明确说明（未知）。 * SlowFast模型选择：使用了在动作识别数据集上预训练的SlowFast模型，具体数据集和模型参数未详细说明（未知）。 * BIQA和BVQA模型选择：使用了已有的BIQA和BVQA模型，具体模型类型和训练数据集未详细说明（未知）。 * MLP结构：使用了多层感知器进行质量回归，具体层数和神经元数量未详细说明（未知）。 * 损失函数：使用了适当的损失函数进行模型训练，具体损失函数类型未详细说明（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RQ-VQA在三个公共社交媒体VQA数据集上取得了最先进的性能。具体性能数据和对比基线未在摘要中给出，但强调了该模型在社交媒体视频质量评估方面的有效性，表明其具有良好的泛化能力和实际应用价值。相较于其他方法，RQ-VQA能够更准确地评估社交媒体视频的感知质量。

🎯 应用场景

该研究成果可应用于社交媒体平台、视频流媒体服务、视频监控系统等领域，用于自动评估视频质量，提升用户体验。通过准确评估视频质量，可以优化视频编码参数、选择合适的传输策略，并为用户推荐高质量的视频内容。此外，该技术还可以用于视频质量监控，及时发现和处理视频质量问题。

📄 摘要（原文）

Blind video quality assessment (BVQA) is a highly challenging task due to the intrinsic complexity of video content and visual distortions, especially given the high popularity of social media videos, which originate from a wide range of sources, and are often processed by various compression and enhancement algorithms. While recent BVQA and blind image quality assessment (BIQA) studies have made remarkable progress, their models typically perform well on the datasets they were trained on but generalize poorly to unseen videos, making them less effective for accurately evaluating the perceptual quality of diverse social media videos. In this paper, we propose Rich Quality-aware features enabled Video Quality Assessment (RQ-VQA), a simple yet effective method to enhance BVQA by leveraging rich quality-aware features extracted from off-the-shelf BIQA and BVQA models. Our approach exploits the expertise of existing quality assessment models within their trained domains to improve generalization. Specifically, we design a multi-source feature framework that integrates:(1) Learnable spatial features} from a base model fine-tuned on the target VQA dataset to capture domain-specific quality cues; (2) Temporal motion features from the fast pathway of SlowFast pre-trained on action recognition datasets to model motion-related distortions; (3) Spatial quality-aware features from BIQA models trained on diverse IQA datasets to enhance frame-level distortion representation; and (4) Spatiotemporal quality-aware features from a BVQA model trained on large-scale VQA datasets to jointly encode spatial structure and temporal dynamics. These features are concatenated and fed into a multi-layer perceptron (MLP) to regress them into quality scores. Experimental results demonstrate that our model achieves state-of-the-art performance on three public social media VQA datasets.