GSVC: Efficient Video Representation and Compression Through 2D Gaussian Splatting

📄 arXiv: 2501.12060v2 📥 PDF

作者: Longan Wang, Yuang Shi, Wei Tsang Ooi

分类: cs.CV, cs.MM

发布日期: 2025-01-21 (更新: 2025-01-22)

💡 一句话要点

提出GSVC以通过2D高斯点云高效表示和压缩视频

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频压缩 高斯点云 动态内容 比特率失真 实时渲染 视频编码 深度学习

📋 核心要点

  1. 现有视频编码方法在压缩效率和渲染速度上存在瓶颈，难以满足高质量视频的需求。
  2. GSVC通过学习2D高斯点云来表示视频，利用时间冗余和动态内容的特性，提升了压缩效率和渲染速度。
  3. 实验表明，GSVC在比特率失真权衡方面与AV1和VVC等先进编码器相当，且渲染速度显著提高。

📝 摘要（中文）

3D高斯点云作为静态3D场景的有效表示方法已取得显著进展。本文探讨了使用2D高斯点云作为视频表示的新原语，提出了GSVC方法，旨在学习一组2D高斯点云以有效表示和压缩视频帧。GSVC通过预测相邻帧的高斯点云、去除低贡献点云、随机添加动态点云以及检测关键帧等技术，显著提高了视频压缩效率。实验结果表明，GSVC在比特率失真权衡方面表现良好，且在1920x1080视频的渲染速度达到1500 fps，接近当前最先进的视频编码器如AV1和VVC。

🔬 方法详解

问题定义：本文旨在解决现有视频编码方法在压缩效率和渲染速度上的不足，尤其是在处理动态内容时的挑战。现有方法往往无法充分利用时间冗余，导致压缩效果不佳。

核心思路：GSVC的核心思路是通过学习2D高斯点云来表示视频帧，利用相邻帧之间的时间冗余来提高训练速度和压缩效率，同时通过动态调整点云来适应视频内容的变化。

技术框架：GSVC的整体架构包括四个主要模块：首先，基于前一帧预测当前帧的高斯点云；其次，去除对视频质量贡献较低的点云；第三，随机添加高斯点云以捕捉大运动或新出现的物体；最后，基于学习过程中的损失差异检测关键帧。

关键创新：GSVC的主要创新在于将2D高斯点云引入视频表示领域，充分利用时间冗余和动态内容，显著提升了压缩效率和渲染速度。这一方法与传统视频编码器的静态帧表示方式形成鲜明对比。

关键设计：在设计中，GSVC采用了动态去除低贡献点云的策略，以控制文件大小与质量之间的权衡。此外，随机添加高斯点云的机制使得模型能够灵活应对动态场景，关键帧检测则确保了在场景变化显著时的有效表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GSVC在比特率失真权衡方面表现出色，其性能与当前最先进的视频编码器如AV1和VVC相当。同时，GSVC在1920x1080视频的渲染速度达到了1500 fps，显示出其在实时应用中的巨大潜力。

🎯 应用场景

GSVC的研究成果在多个领域具有广泛的应用潜力，包括实时视频传输、虚拟现实和增强现实等场景。其高效的视频表示和压缩能力能够显著降低带宽需求，提高用户体验。此外，GSVC还可以为视频编辑和处理提供新的工具，推动相关技术的发展。

📄 摘要（原文）

3D Gaussian splats have emerged as a revolutionary, effective, learned representation for static 3D scenes. In this work, we explore using 2D Gaussian splats as a new primitive for representing videos. We propose GSVC, an approach to learning a set of 2D Gaussian splats that can effectively represent and compress video frames. GSVC incorporates the following techniques: (i) To exploit temporal redundancy among adjacent frames, which can speed up training and improve the compression efficiency, we predict the Gaussian splats of a frame based on its previous frame; (ii) To control the trade-offs between file size and quality, we remove Gaussian splats with low contribution to the video quality; (iii) To capture dynamics in videos, we randomly add Gaussian splats to fit content with large motion or newly-appeared objects; (iv) To handle significant changes in the scene, we detect key frames based on loss differences during the learning process. Experiment results show that GSVC achieves good rate-distortion trade-offs, comparable to state-of-the-art video codecs such as AV1 and VVC, and a rendering speed of 1500 fps for a 1920x1080 video.