Compression-Realized Deep Structural Network for Video Quality Enhancement
作者: Hanchi Sun, Xiaohong Liu, Xinyang Jiang, Yifei Shen, Dongsheng Li, Xiongkuo Min, Guangtao Zhai
分类: cs.CV, eess.IV
发布日期: 2024-05-10 (更新: 2024-08-20)
💡 一句话要点
提出CRDS网络，利用压缩先验知识增强压缩视频质量。
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 视频质量增强 压缩感知 深度学习 残差学习 运动估计 自编码器 去噪 视频修复
📋 核心要点
- 现有视频质量增强方法缺乏对压缩编解码器先验知识的有效利用，导致增强效果受限。
- CRDS网络通过引入与压缩过程对齐的归纳偏置，有意识地利用压缩先验知识进行质量增强。
- 实验结果表明，CRDS网络在多个数据集上超越了现有最先进的视频质量增强模型。
📝 摘要（中文）
本文致力于提升压缩视频的质量。尽管基于深度网络的视频修复器取得了显著进展，但现有方法大多缺乏结构化设计，无法充分利用压缩编解码器中的先验知识。视频质量的下降主要由压缩算法引起，因此迫切需要一种更“有意识”的质量增强方法。为此，我们提出了压缩感知的深度结构网络（CRDS），引入了与经典压缩编解码器中的三个主要过程对齐的三个归纳偏置，将经典编码器架构的优势与深度网络的能力相结合。受编解码器中残差提取和域变换过程的启发，我们提出了一个预训练的潜在退化残差自编码器，用于将视频帧转换到潜在特征空间，并集成了互邻域注意力机制，以实现精确的运动估计和残差提取。此外，借鉴编解码器的量化噪声分布，CRDS提出了一个具有中间监督的新型渐进去噪框架，将质量增强分解为一系列更简单的去噪子任务。在LDV 2.0和MFQE 2.0等数据集上的实验结果表明，我们的方法优于最先进的模型。
🔬 方法详解
问题定义：论文旨在解决压缩视频的质量增强问题。现有基于深度学习的视频修复方法通常忽略了视频压缩过程中产生的特定失真模式，未能充分利用压缩编解码器中蕴含的先验知识，导致修复效果不佳。这些方法通常将压缩伪影视为一般的噪声进行处理，缺乏针对性。
核心思路：论文的核心思路是设计一个“压缩感知”的深度网络，即CRDS（Compression-Realized Deep Structural Network）。该网络通过模拟经典压缩编解码器的关键步骤，将压缩过程中的先验知识融入到网络结构中，从而更有效地去除压缩伪影，提升视频质量。这种设计使得网络能够更好地理解和处理压缩视频特有的失真。
技术框架：CRDS网络主要包含三个模块：1) 潜在退化残差自编码器（Latent Degradation Residual Auto-Encoder）：用于将视频帧转换到潜在特征空间，并提取退化残差。2) 互邻域注意力机制（Mutual Neighborhood Attention）：用于精确的运动估计和残差提取。3) 渐进去噪框架（Progressive Denoising）：将质量增强分解为一系列更简单的去噪子任务，并进行中间监督。
关键创新：CRDS网络的关键创新在于其“压缩感知”的设计理念，即将经典压缩编解码器的结构和原理融入到深度网络中。具体体现在以下几个方面：1) 利用自编码器提取潜在退化残差，模拟压缩过程中的残差编码。2) 引入互邻域注意力机制，提高运动估计的准确性，从而更精确地提取残差。3) 采用渐进去噪框架，将复杂的质量增强任务分解为多个简单的去噪子任务，降低了学习难度。
关键设计：潜在退化残差自编码器采用预训练的方式，以更好地学习压缩视频的特征表示。互邻域注意力机制通过计算相邻像素之间的相似度，提高运动估计的准确性。渐进去噪框架采用多阶段的去噪网络，每个阶段都进行中间监督，以保证去噪效果。损失函数方面，可能采用了L1或L2损失函数，以及感知损失等，以提高视频质量的主观感受。
🖼️ 关键图片
📊 实验亮点
实验结果表明，CRDS网络在LDV 2.0和MFQE 2.0等数据集上取得了显著的性能提升，超越了现有的最先进模型。具体性能数据（如PSNR、SSIM等）未在摘要中明确给出，但强调了其优于state-of-the-art模型。
🎯 应用场景
该研究成果可广泛应用于视频监控、视频会议、在线视频平台等领域，提升压缩视频的观看体验。通过提高视频质量，可以改善用户体验，降低带宽需求，并为后续的视频分析任务提供更好的数据基础。未来，该方法有望应用于低码率视频的超分辨率重建、视频修复等领域。
📄 摘要（原文）
This paper focuses on the task of quality enhancement for compressed videos. Although deep network-based video restorers achieve impressive progress, most of the existing methods lack a structured design to optimally leverage the priors within compression codecs. Since the quality degradation of the video is primarily induced by the compression algorithm, a new paradigm is urgently needed for a more ``conscious'' process of quality enhancement. As a result, we propose the Compression-Realized Deep Structural Network (CRDS), introducing three inductive biases aligned with the three primary processes in the classic compression codec, merging the strengths of classical encoder architecture with deep network capabilities. Inspired by the residual extraction and domain transformation process in the codec, a pre-trained Latent Degradation Residual Auto-Encoder is proposed to transform video frames into a latent feature space, and the mutual neighborhood attention mechanism is integrated for precise motion estimation and residual extraction. Furthermore, drawing inspiration from the quantization noise distribution of the codec, CRDS proposes a novel Progressive Denoising framework with intermediate supervision that decomposes the quality enhancement into a series of simpler denoising sub-tasks. Experimental results on datasets like LDV 2.0 and MFQE 2.0 indicate our approach surpasses state-of-the-art models.