Explicit-NeRF-QA: A Quality Assessment Database for Explicit NeRF Model Compression

作者: Yuke Xing, Qi Yang, Kaifa Yang, Yilin Xu, Zhu Li

分类: eess.IV, cs.CV

发布日期: 2024-07-11 (更新: 2024-09-20)

备注: 5 pages, 4 figures, 2 tables, conference

🔗 代码/项目: GITHUB

💡 一句话要点

构建Explicit-NeRF-QA数据集，用于评估显式NeRF模型压缩质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF压缩 质量评估 主观实验 数据集 显式NeRF 客观指标

📋 核心要点

显式NeRF模型虽然渲染速度快，但存储成本巨大，NeRF压缩研究面临缺乏高质量评估数据集的挑战。
构建Explicit-NeRF-QA数据集，包含不同几何、纹理和材质复杂度的3D对象，以及不同参数级别的显式NeRF模型。
主观实验表明数据集具有异质性，现有无参考指标表现不佳，需要进一步开发更鲁棒的无参考指标。

📝 摘要（中文）

近年来，神经辐射场（NeRF）在表示和合成3D场景方面表现出显著优势。显式NeRF模型因其更快的渲染速度而促进了NeRF的实际应用，并且由于其巨大的存储成本，在NeRF压缩方面也引起了相当大的关注。为了应对NeRF压缩研究的挑战，本文构建了一个新的数据集，名为Explicit-NeRF-QA。我们使用22个具有不同几何形状、纹理和材质复杂度的3D对象来训练五个参数级别的四种典型的显式NeRF模型。在模型生成过程中引入有损压缩，重点关注关键参数的选择，例如InstantNGP的哈希表大小和Plenoxels的体素网格分辨率。通过将NeRF样本渲染成处理后的视频序列（PVS），进行了一项大规模的实验室环境主观实验，从21位观看者那里收集主观评分。全面展示了内容的多样性、平均意见得分（MOS）的准确性以及NeRF失真的特征，从而确立了所提出数据集的异质性。在新数据集中测试了最先进的客观指标。从全参考客观指标中收集到的最佳Person相关性约为0.85。所有测试的无参考指标都报告了非常差的结果，相关性为0.4到0.6，表明需要进一步开发更强大的无参考指标。该数据集，包括NeRF样本、源3D对象、用于NeRF生成的多视角图像、PVS、MOS，已在以下位置公开提供：https://github.com/YukeXing/Explicit-NeRF-QA。

🔬 方法详解

问题定义：论文旨在解决显式NeRF模型压缩研究中缺乏高质量评估数据集的问题。现有方法依赖于通用图像/视频质量评估指标，无法准确反映NeRF模型压缩带来的独特失真，缺乏针对NeRF压缩特点的评估标准。

核心思路：论文的核心思路是构建一个包含多种3D场景和不同压缩程度的显式NeRF模型的数据集，并通过主观实验收集人类对压缩质量的感知，从而为NeRF压缩算法的评估提供可靠的依据。

技术框架：Explicit-NeRF-QA数据集的构建流程如下：1) 选择22个具有不同几何形状、纹理和材质复杂度的3D对象；2) 使用这些3D对象训练四种典型的显式NeRF模型（具体模型未知），并设置五个不同的参数级别，模拟不同程度的压缩；3) 在模型生成过程中引入有损压缩，调整关键参数（如哈希表大小、体素网格分辨率）；4) 将NeRF样本渲染成处理后的视频序列（PVS）；5) 进行大规模主观实验，收集平均意见得分（MOS）。

关键创新：该数据集的关键创新在于：1) 专门针对显式NeRF模型压缩质量评估而设计，考虑了NeRF模型的特殊性质；2) 包含多种3D场景和不同压缩程度的模型，具有较高的多样性；3) 通过主观实验收集MOS，提供了可靠的质量评估标准。

关键设计：关键设计包括：1) 3D对象的选择，确保覆盖不同的几何形状、纹理和材质复杂度；2) 显式NeRF模型的选择，选择了四种典型的模型（具体模型未知）；3) 参数级别的设置，模拟不同程度的压缩；4) 主观实验的设计，确保实验结果的可靠性和准确性。

🖼️ 关键图片

fig_0

fig_1

fig_2

📊 实验亮点

实验结果表明，现有全参考客观指标（如Best Person correlation）在Explicit-NeRF-QA数据集上表现较好（约为0.85），但无参考指标表现非常差（相关性为0.4到0.6），表明需要进一步开发更鲁棒的无参考指标来评估NeRF模型压缩质量。

🎯 应用场景

该研究成果可应用于NeRF模型压缩算法的开发和评估，推动NeRF技术在资源受限设备上的应用，例如移动设备、嵌入式系统等。高质量的NeRF模型压缩能够降低存储和传输成本，提高渲染效率，从而促进NeRF技术在虚拟现实、增强现实、游戏等领域的广泛应用。

📄 摘要（原文）

In recent years, Neural Radiance Fields (NeRF) have demonstrated significant advantages in representing and synthesizing 3D scenes. Explicit NeRF models facilitate the practical NeRF applications with faster rendering speed, and also attract considerable attention in NeRF compression due to its huge storage cost. To address the challenge of the NeRF compression study, in this paper, we construct a new dataset, called Explicit-NeRF-QA. We use 22 3D objects with diverse geometries, textures, and material complexities to train four typical explicit NeRF models across five parameter levels. Lossy compression is introduced during the model generation, pivoting the selection of key parameters such as hash table size for InstantNGP and voxel grid resolution for Plenoxels. By rendering NeRF samples to processed video sequences (PVS), a large scale subjective experiment with lab environment is conducted to collect subjective scores from 21 viewers. The diversity of content, accuracy of mean opinion scores (MOS), and characteristics of NeRF distortion are comprehensively presented, establishing the heterogeneity of the proposed dataset. The state-of-the-art objective metrics are tested in the new dataset. Best Person correlation, which is around 0.85, is collected from the full-reference objective metric. All tested no-reference metrics report very poor results with 0.4 to 0.6 correlations, demonstrating the need for further development of more robust no-reference metrics. The dataset, including NeRF samples, source 3D objects, multiview images for NeRF generation, PVSs, MOS, is made publicly available at the following location: https://github.com/YukeXing/Explicit-NeRF-QA.