AIM 2024 Challenge on Compressed Video Quality Assessment: Methods and Results
作者: Maksim Smirnov, Aleksandr Gushchin, Anastasia Antsiferova, Dmitry Vatolin, Radu Timofte, Ziheng Jia, Zicheng Zhang, Wei Sun, Jiaying Qian, Yuqin Cao, Yinan Sun, Yuxin Zhu, Xiongkuo Min, Guangtao Zhai, Kanjar De, Qing Luo, Ao-Xiang Zhang, Peng Zhang, Haibo Lei, Linyan Jiang, Yaqing Li, Wenhui Meng, Zhenzhong Chen, Zhengxue Cheng, Jiahao Xiao, Jun Xu, Chenlong He, Qi Zheng, Ruoxi Zhu, Min Li, Yibo Fan, Zhengzhong Tu
分类: eess.IV, cs.CV, cs.MM
发布日期: 2024-08-21 (更新: 2024-10-22)
💡 一句话要点
AIM 2024压缩视频质量评估挑战赛：方法与结果分析
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视频质量评估 压缩视频 主观质量评估 深度学习 视频编码
📋 核心要点
- 视频质量评估（VQA）在视频压缩标准开发中至关重要，但现有方法在处理多样化压缩伪影时仍面临挑战。
- 本次挑战赛旨在通过提供包含多种编解码器和压缩伪影的数据集，促进VQA方法在实际压缩视频上的性能评估。
- 挑战赛评估了多个VQA方法在包含459个视频的数据集上的性能，并提供了最先进方法的基准结果。
📝 摘要（中文）
本文介绍了ECCV 2024的AIM研讨会中举办的压缩视频质量评估挑战赛的结果。该挑战赛旨在评估VQA方法在多样化数据集上的性能，该数据集包含459个视频，使用14种不同压缩标准的编解码器（AVC/H.264、HEVC/H.265、AV1和VVC/H.266）编码，并包含各种压缩伪影。为了衡量方法的性能，我们采用了预测值与主观评分之间的传统相关系数，这些主观评分是通过大规模众包配对人工比较收集的。为了训练，参与者获得了压缩视频质量评估数据集（CVQAD），这是一个先前开发的包含1022个视频的数据集。共有30个参赛队伍注册参加了挑战赛，我们报告了6个提交了有效的最终解决方案和代码以重现结果的团队的结果。此外，我们计算并展示了最先进的VQA方法在已开发数据集上的性能，为未来的研究提供了全面的基准。数据集、结果和在线排行榜可在https://challenges.videoprocessing.ai/challenges/compressedvideo-quality-assessment.html公开获取。
🔬 方法详解
问题定义：视频质量评估（VQA）旨在预测人类对视频质量的感知。在视频压缩领域，VQA至关重要，因为不同的压缩算法和参数会引入各种伪影，影响观看体验。现有的VQA方法在处理由多种编解码器（如AVC/H.264、HEVC/H.265、AV1和VVC/H.266）产生的复杂压缩伪影时，泛化能力不足，难以准确预测主观质量。
核心思路：本次挑战赛的核心思路是提供一个包含多样化压缩视频的数据集，并鼓励研究人员开发能够有效处理各种压缩伪影的VQA模型。通过大规模的众包主观评估，建立客观的质量基准，从而促进VQA算法的改进和发展。挑战赛同时评估现有VQA算法的性能，为后续研究提供参考。
技术框架：本次挑战赛的技术框架主要包括以下几个部分：1)构建包含多种编解码器和压缩参数的视频数据集；2)通过众包方式进行大规模主观质量评估，获取主观评分；3)评估参赛队伍提交的VQA模型在数据集上的性能，采用相关系数作为评价指标；4)提供最先进VQA方法的基准结果，供后续研究参考。挑战赛组织方提供了训练数据集CVQAD，参赛队伍可以使用该数据集训练自己的模型。
关键创新：本次挑战赛的关键创新在于构建了一个包含多种压缩伪影的视频数据集，并采用大规模众包主观评估的方式获取高质量的主观评分。这为VQA算法的研究提供了一个更具挑战性和实际意义的评估平台。此外，挑战赛还提供了最先进VQA方法的基准结果，方便研究人员进行比较和改进。
关键设计：挑战赛的关键设计包括：1)数据集的构建，涵盖了多种编解码器和压缩参数，以模拟实际应用场景；2)主观评估方法的选择，采用配对比较的方式，减少了评分偏差；3)评价指标的选择，采用相关系数，衡量预测值与主观评分之间的一致性；4)基准方法的选择，选择了当前最先进的VQA方法，为后续研究提供参考。
🖼️ 关键图片
📊 实验亮点
挑战赛结果显示，参赛队伍在压缩视频质量评估任务上取得了显著进展。通过对多种VQA方法在包含459个视频的数据集上进行评估，确定了当前最先进方法的性能基准。这些结果为未来的VQA研究提供了有价值的参考，并为开发更有效的压缩视频质量评估算法奠定了基础。
🎯 应用场景
该研究成果可广泛应用于视频编码、传输和播放等领域。高质量的VQA模型可以帮助优化视频压缩算法，提高用户观看体验。此外，该研究还可以应用于视频监控、视频会议等领域，提升视频质量和清晰度，具有重要的实际应用价值和广阔的市场前景。
📄 摘要（原文）
Video quality assessment (VQA) is a crucial task in the development of video compression standards, as it directly impacts the viewer experience. This paper presents the results of the Compressed Video Quality Assessment challenge, held in conjunction with the Advances in Image Manipulation (AIM) workshop at ECCV 2024. The challenge aimed to evaluate the performance of VQA methods on a diverse dataset of 459 videos, encoded with 14 codecs of various compression standards (AVC/H.264, HEVC/H.265, AV1, and VVC/H.266) and containing a comprehensive collection of compression artifacts. To measure the methods performance, we employed traditional correlation coefficients between their predictions and subjective scores, which were collected via large-scale crowdsourced pairwise human comparisons. For training purposes, participants were provided with the Compressed Video Quality Assessment Dataset (CVQAD), a previously developed dataset of 1022 videos. Up to 30 participating teams registered for the challenge, while we report the results of 6 teams, which submitted valid final solutions and code for reproducing the results. Moreover, we calculated and present the performance of state-of-the-art VQA methods on the developed dataset, providing a comprehensive benchmark for future research. The dataset, results, and online leaderboard are publicly available at https://challenges.videoprocessing.ai/challenges/compressedvideo-quality-assessment.html.