Multiscale Motion-Aware and Spatial-Temporal-Channel Contextual Coding Network for Learned Video Compression

📄 arXiv: 2310.12733v1 📥 PDF

作者: Yiming Wang, Qian Huang, Bin Tang, Huashan Sun, Xing Li

分类: eess.IV, cs.CV

发布日期: 2023-10-19

备注: 12pages,12 figures

💡 一句话要点

提出MASTC-VC以解决视频压缩中的运动估计不准确问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频压缩 运动估计 变分自编码器 时空上下文 深度学习 多尺度预测 比特率优化

📋 核心要点

  1. 现有学习型视频压缩方法在运动估计上存在不准确性，导致重建帧失真，同时忽视了空间和通道冗余。
  2. 本文提出了MASTC-VC网络，通过多尺度运动感知模块和时空通道上下文模块，优化运动向量估计和潜在表示。
  3. 实验结果显示，MASTC-VC在多个基准数据集上超越了现有最先进方法，显著提高了压缩效率。

📝 摘要（中文）

近年来，学习型视频压缩取得了令人振奋的性能。大多数学习方法遵循传统的混合预测编码框架，采用运动估计运动补偿（MEMC）方法来消除帧间冗余。然而，不准确的运动向量（MV）通常会导致重建帧的失真。此外，大多数方法忽视了空间和通道冗余。为了解决这些问题，本文提出了一种基于运动感知和时空通道上下文编码的视频压缩网络（MASTC-VC），该网络学习潜在表示并使用变分自编码器（VAE）捕捉帧内像素和帧间运动的特征。实验表明，MASTC-VC在三个公共基准数据集上优于之前的最先进方法，尤其在PSNR指标上相较H.265/HEVC（HM-16.20）平均节省10.15%的BD-rate，在MS-SSIM指标上相较H.266/VVC（VTM-13.2）平均节省23.93%的BD-rate。

🔬 方法详解

问题定义：本文旨在解决视频压缩中运动估计不准确导致的重建失真问题，以及现有方法对空间和通道冗余的忽视。

核心思路：提出MASTC-VC网络，通过多尺度运动感知模块（MS-MAM）和时空通道上下文模块（STCCM）来提高运动向量的准确性，并有效利用潜在表示的相关性。

技术框架：MASTC-VC的整体架构包括两个主要模块：MS-MAM用于估计一致的运动向量，STCCM用于探索潜在表示之间的相关性，从而减少比特消耗。

关键创新：最重要的创新点在于引入了多尺度运动感知模块，能够以粗到细的方式利用多尺度运动预测信息，显著提高运动估计的准确性。

关键设计：在网络设计中，采用变分自编码器（VAE）来捕捉帧内像素和帧间运动特征，并通过优化损失函数来平衡重建质量与比特率之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MASTC-VC在PSNR指标上相较H.265/HEVC（HM-16.20）平均节省10.15%的BD-rate，在MS-SSIM指标上相较H.266/VVC（VTM-13.2）平均节省23.93%的BD-rate，显示出显著的性能提升。

🎯 应用场景

该研究在视频压缩领域具有广泛的应用潜力，尤其适用于流媒体传输、视频监控和视频存储等场景。通过提高压缩效率，MASTC-VC能够降低带宽需求和存储成本，推动视频技术的进一步发展。未来，该方法可能在实时视频处理和高效视频编码标准中发挥重要作用。

📄 摘要（原文）

Recently, learned video compression has achieved exciting performance. Following the traditional hybrid prediction coding framework, most learned methods generally adopt the motion estimation motion compensation (MEMC) method to remove inter-frame redundancy. However, inaccurate motion vector (MV) usually lead to the distortion of reconstructed frame. In addition, most approaches ignore the spatial and channel redundancy. To solve above problems, we propose a motion-aware and spatial-temporal-channel contextual coding based video compression network (MASTC-VC), which learns the latent representation and uses variational autoencoders (VAEs) to capture the characteristics of intra-frame pixels and inter-frame motion. Specifically, we design a multiscale motion-aware module (MS-MAM) to estimate spatial-temporal-channel consistent motion vector by utilizing the multiscale motion prediction information in a coarse-to-fine way. On the top of it, we further propose a spatial-temporal-channel contextual module (STCCM), which explores the correlation of latent representation to reduce the bit consumption from spatial, temporal and channel aspects respectively. Comprehensive experiments show that our proposed MASTC-VC is surprior to previous state-of-the-art (SOTA) methods on three public benchmark datasets. More specifically, our method brings average 10.15\% BD-rate savings against H.265/HEVC (HM-16.20) in PSNR metric and average 23.93\% BD-rate savings against H.266/VVC (VTM-13.2) in MS-SSIM metric.