Light Field Compression Based on Implicit Neural Representation
作者: Henan Wang, Hanxin Zhu, Zhibo Chen
分类: eess.IV, cs.CV
发布日期: 2024-05-07
备注: PCS2022
💡 一句话要点
提出基于隐式神经表示的光场压缩方案，有效降低视图间冗余。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 光场压缩 隐式神经表示 模型压缩 率失真优化 感知质量 神经网络 多视角图像
📋 核心要点
- 传统光场压缩方法难以有效描述视图间关系，导致数据冗余。
- 利用隐式神经表示将光场信息存储于神经网络中，压缩模型降低冗余。
- 实验表明，该方法在率失真性能和感知质量上优于传统方法。
📝 摘要（中文）
光场作为一种新型多媒体数据表示格式，能够捕获光线的强度和方向信息。然而，额外的角度信息也带来了巨大的数据量。传统的编码方法无法有效地描述不同视图之间的关系，导致冗余。为了解决这个问题，我们提出了一种基于隐式神经表示的光场压缩方案，以减少视图之间的冗余。我们将光场图像的信息隐式地存储在神经网络中，并采用模型压缩方法来进一步压缩隐式表示。大量的实验表明，我们提出的方法是有效的，与传统方法相比，它实现了相当的率失真性能以及卓越的感知质量。
🔬 方法详解
问题定义：光场数据包含丰富的角度信息，但同时也带来了巨大的数据量，给存储和传输带来了挑战。传统的光场压缩方法，例如基于视频编码标准的HEVC等，无法充分利用光场数据中不同视角之间的相关性，导致压缩效率不高，存在大量冗余信息。因此，如何有效地压缩光场数据，同时保持良好的图像质量，是一个亟待解决的问题。
核心思路：本论文的核心思路是利用隐式神经表示（Implicit Neural Representation, INR）来表示光场。INR可以将复杂的光场数据映射到一个连续的函数空间中，并通过神经网络学习这个函数。由于神经网络具有强大的表达能力，因此可以用较少的参数来表示复杂的光场数据，从而实现压缩。此外，通过对训练好的神经网络进行模型压缩，可以进一步降低存储空间。
技术框架：该光场压缩方案主要包含以下几个阶段：1) 光场数据输入：将原始光场数据输入到神经网络中。2) 隐式神经表示学习：使用神经网络学习光场的隐式表示，即学习一个将光线坐标映射到颜色值的函数。3) 模型压缩：对训练好的神经网络进行模型压缩，例如剪枝、量化等，以进一步降低模型大小。4) 编码与传输：将压缩后的模型参数进行编码，并通过网络传输。5) 解码与重建：在接收端，对编码后的模型参数进行解码，并使用解码后的模型重建光场图像。
关键创新：该方法最重要的创新点在于将隐式神经表示引入到光场压缩中。与传统的基于离散采样的压缩方法不同，该方法将光场数据表示为一个连续的函数，从而可以更好地利用光场数据中的相关性，并实现更高的压缩率。此外，通过对神经网络进行模型压缩，可以进一步降低存储空间，提高压缩效率。
关键设计：在网络结构方面，可以使用MLP（多层感知机）作为基本的网络结构。损失函数可以选择均方误差（MSE）等常用的图像重建损失函数。在模型压缩方面，可以使用剪枝、量化等方法。具体的参数设置需要根据实际的光场数据进行调整。例如，可以调整MLP的层数和神经元数量，以及剪枝的比例和量化的位数等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在率失真性能上与传统方法相当，但在感知质量上优于传统方法。这意味着在相同的压缩率下，该方法可以提供更清晰、更逼真的光场图像。具体的性能提升幅度取决于光场数据的复杂度和压缩率。
🎯 应用场景
该研究成果可应用于虚拟现实、增强现实、自由视点视频、3D电视等领域。通过高效压缩光场数据，可以降低存储和传输成本，提升用户体验。例如，在VR/AR应用中，可以提供更高质量的沉浸式体验；在自由视点视频中，可以实现更流畅的视角切换。
📄 摘要（原文）
Light field, as a new data representation format in multimedia, has the ability to capture both intensity and direction of light rays. However, the additional angular information also brings a large volume of data. Classical coding methods are not effective to describe the relationship between different views, leading to redundancy left. To address this problem, we propose a novel light field compression scheme based on implicit neural representation to reduce redundancies between views. We store the information of a light field image implicitly in an neural network and adopt model compression methods to further compress the implicit representation. Extensive experiments have demonstrated the effectiveness of our proposed method, which achieves comparable rate-distortion performance as well as superior perceptual quality over traditional methods.