High-Fidelity Video Quality Assessment with VQA-Specific Saliency

📄 arXiv: 2609.16946v1 📥 PDF

作者: Hakan Emre Gedik, Shashank Gupta, Alan Bovik

分类: cs.CV

发布日期: 2026-09-15

备注: Accepted to WACV 2027

💡 一句话要点

提出HFVQA框架以解决视频质量评估中的计算效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频质量评估 深度学习 时空补丁 显著性学习 计算效率 无参考评估 视频处理 模型优化

📋 核心要点

  1. 现有的无参考视频质量评估方法在处理大规模视频数据时面临高计算成本和信息损失的问题。
  2. HFVQA框架通过采样固定大小的时空补丁并引入VQA特定的显著性学习，来提高计算效率和评估准确性。
  3. HFVQA在标准NR VQA基准上实现了最先进的性能，同时仅处理12%的候选时空补丁，显著降低了计算需求。

📝 摘要（中文）

无参考视频质量评估（NR VQA）在深度学习的推动下取得了显著进展。然而，视频数据的庞大特性使得深度模型的处理成本高昂，尤其是在保持原始分辨率和密集时间信息的准确性方面。现有的效率驱动预处理策略，如片段化，虽然降低了计算量，但改变了输入数据分布，限制了预训练视频基础模型的有效重用。为了解决这些问题，本文提出了高保真视频质量评估（HFVQA）框架，该框架基于固定大小的时空补丁，兼容预训练的ViFM。HFVQA在多个尺度上采样时空补丁，并引入轻量级辅助网络以学习视频质量评估特定的显著性，从而在处理12%的候选补丁的情况下，达到标准NR VQA基准的最先进性能。

🔬 方法详解

问题定义：本文旨在解决无参考视频质量评估中的计算效率问题。现有方法在处理大规模视频数据时，往往需要高昂的计算成本，并且在预处理过程中可能导致输入数据分布的改变，从而影响评估的准确性。

核心思路：HFVQA框架的核心思路是通过固定大小的时空补丁采样，结合VQA特定的显著性学习，来有效保留低级质量线索和语义上下文，同时降低计算量。

技术框架：HFVQA的整体架构包括时空补丁的多尺度采样、轻量级辅助网络和预训练ViFM编码器。该框架通过最小的时间子采样来保持信息的完整性。

关键创新：HFVQA的主要创新在于引入了VQA特定的显著性学习，该显著性直接从质量监督中提取，能够捕捉到视频质量感知中重要的时空区域，从而实现高效的质量评估。

关键设计：HFVQA采用了轻量级的辅助网络，与ViFM编码器端到端训练，设计了特定的损失函数以优化显著性学习，并通过多尺度补丁采样来增强模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HFVQA在标准NR VQA基准上实现了最先进的性能，处理的候选时空补丁仅为12%，相比于传统方法显著降低了计算需求，提升了效率与准确性。这一结果表明，HFVQA在保持高保真度的同时，能够有效应对大规模视频数据的挑战。

🎯 应用场景

HFVQA框架在视频质量评估领域具有广泛的应用潜力，尤其适用于实时视频监控、流媒体服务和视频内容创作等场景。其高效的计算性能和准确的质量评估能力，将为视频处理和分析提供重要支持，推动相关技术的发展与应用。

📄 摘要（原文）

No-reference video quality assessment (NR VQA) has recently seen promising progress with deep learning. However, video data is inherently large, and processing them with deep models incurs high computational cost. This challenge is particularly acute in VQA, where preserving original-resolution cues and dense temporal information is critical for accuracy. Existing efficiency-driven preprocessing strategies, such as fragmenting, reduce computation but alter the input data distribution, limiting effective reuse of pretrained video foundation models (ViFMs). To address these challenges, we propose \textbf{H}igh-\textbf{F}idelity \textbf{V}ideo \textbf{Q}uality \textbf{A}ssessment (\textbf{HFVQA}), a framework built on fixed-size spatio-temporal (ST) patches that is fully compatible with pretrained ViFMs. HFVQA samples ST patches across multiple scales, including the original resolution, with minimal temporal subsampling to preserve low-level quality cues and semantic context. To limit computation, HFVQA introduces a lightweight auxiliary network trained end-to-end with the ViFM encoder to learn \textit{VQA-specific saliency}. Distilled directly from quality supervision, this saliency captures task-specific importance patterns, reflecting that video quality perception is dominated by a small subset of spatio-temporal regions. By combining high-fidelity spatio-temporal cues with learned, task-specific saliency, HFVQA achieves SOTA performance on standard NR VQA benchmarks while processing as little as 12\% of candidate ST patches, making high-fidelity ViFM-based VQA computationally tractable.