LMVC: An End-to-End Learned Multiview Video Coding Framework

📄 arXiv: 2509.03922v1 📥 PDF

作者: Xihua Sheng, Yingwen Zhang, Long Xu, Shiqi Wang

分类: cs.CV

发布日期: 2025-09-04

💡 一句话要点

提出LMVC框架以解决多视角视频编码效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多视角视频 视频编码 深度学习 运动预测 上下文预测 压缩效率 虚拟现实 增强现实

📋 核心要点

  1. 现有的视频编码方法大多集中于单视角或立体视频，导致多视角视频在存储和传输上的挑战未得到有效解决。
  2. 本文提出的LMVC框架通过结合独立视角的运动和内容信息，提升了依赖视角的编码效率，确保了随机访问和向后兼容性。
  3. 实验结果显示，LMVC框架在压缩性能上显著优于传统MV-HEVC标准，建立了强有力的研究基线。

📝 摘要（中文）

多视角视频是体积庞大的数据源，虽然深度学习在视频编码上取得了显著进展，但大多数研究集中在单视角或立体视频上，导致多视角场景的研究相对不足。本文提出了一种端到端的学习型多视角视频编码（LMVC）框架，旨在提高压缩效率，并确保随机访问和向后兼容性。我们通过有效利用独立视角的运动和内容信息来增强依赖视角的压缩，提出了基于特征的视角间运动矢量预测方法和无视差的视角间上下文预测模块。实验结果表明，LMVC框架在压缩性能上显著优于传统MV-HEVC标准的参考软件，为未来研究奠定了坚实基础。

🔬 方法详解

问题定义：本文旨在解决多视角视频编码中的存储和传输效率问题。现有方法主要集中在单视角或立体视频，未能充分利用多视角之间的相关性，导致压缩效率低下。

核心思路：LMVC框架通过利用独立视角的运动和内容信息，增强依赖视角的压缩效果。具体而言，采用特征基础的运动矢量预测和上下文预测模块来提升编码效率。

技术框架：LMVC框架包括两个主要模块：视角间运动矢量预测模块和视角间上下文预测模块。前者通过解码的独立视角运动特征来指导依赖视角的运动编码，后者则从解码的独立视角内容特征中预测视角间上下文。

关键创新：本研究的创新点在于提出了一种基于特征的视角间运动矢量预测方法和无视差的视角间上下文预测模块，这些方法有效捕捉了视角间的运动和内容相关性，显著提升了编码效率。

关键设计：在设计中，采用了运动熵模型来学习视角间运动的先验知识，并结合上下文熵模型来捕捉视角间的内容先验。这些设计使得模型在压缩性能上大幅提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LMVC框架在压缩性能上超越了传统MV-HEVC标准的参考软件，具体提升幅度达到XX%。这一显著的性能提升为多视角视频编码领域的未来研究提供了坚实的基线。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和3D视频流媒体等。通过提高多视角视频的编码效率，LMVC框架可以显著降低存储和传输成本，推动沉浸式视频技术的普及与发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Multiview video is a key data source for volumetric video, enabling immersive 3D scene reconstruction but posing significant challenges in storage and transmission due to its massive data volume. Recently, deep learning-based end-to-end video coding has achieved great success, yet most focus on single-view or stereo videos, leaving general multiview scenarios underexplored. This paper proposes an end-to-end learned multiview video coding (LMVC) framework that ensures random access and backward compatibility while enhancing compression efficiency. Our key innovation lies in effectively leveraging independent-view motion and content information to enhance dependent-view compression. Specifically, to exploit the inter-view motion correlation, we propose a feature-based inter-view motion vector prediction method that conditions dependent-view motion encoding on decoded independent-view motion features, along with an inter-view motion entropy model that learns inter-view motion priors. To exploit the inter-view content correlation, we propose a disparity-free inter-view context prediction module that predicts inter-view contexts from decoded independent-view content features, combined with an inter-view contextual entropy model that captures inter-view context priors. Experimental results show that our proposed LMVC framework outperforms the reference software of the traditional MV-HEVC standard by a large margin, establishing a strong baseline for future research in this field.