Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes

📄 arXiv: 2501.08072v1 📥 PDF

作者: Yuhang Zhang, Joshua Maraval, Zhengyu Zhang, Nicolas Ramin, Shishun Tian, Lu Zhang

分类: cs.CV, eess.IV

发布日期: 2025-01-13

💡 一句话要点

针对动态场景，评估高斯溅射和NeRF新视角合成的人类感知质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 主观质量评估 高斯溅射 神经辐射场 动态场景 人眼感知 客观质量指标

📋 核心要点

  1. 现有新视角合成方法在动态场景和真实场景覆盖方面存在不足，缺乏对人类感知质量的充分评估。
  2. 通过主观实验评估基于高斯溅射和NeRF的新视角合成质量，关注动态场景和不同观看路径的影响。
  3. 建立了包含主观质量评估的动态场景新视角合成数据库，并分析了现有客观指标与主观质量的相关性。

📝 摘要（中文）

高斯溅射(GS)和神经辐射场(NeRF)是两项突破性的新技术，它们通过从一组稀疏视角的图像中合成多个视角，实现了沉浸式逼真的渲染和用户体验，彻底改变了新视角合成(NVS)领域。NVS在高质量虚拟和增强现实、详细3D建模和逼真的医疗器官成像等方面的潜在应用，突显了从人类感知角度对NVS方法进行质量评估的重要性。尽管之前的一些研究已经探索了NVS技术的主观质量评估，但它们仍然面临一些挑战，尤其是在NVS方法选择、场景覆盖和评估方法方面。为了应对这些挑战，我们针对基于GS和基于NeRF的方法进行了两次NVS技术质量评估的主观实验，重点关注动态和真实场景。这项研究涵盖了360°、正面和单视点视频，同时提供了更丰富和更大数量的真实场景。同时，这是首次探索NVS方法在具有移动物体的动态场景中的影响。这两种类型的主观实验有助于从人类感知的角度充分理解不同观看路径的影响，并为未来全参考和无参考质量指标的开发铺平道路。此外，我们在提出的数据库上建立了一个各种最先进的客观指标的综合基准，强调现有方法仍然难以准确捕捉主观质量。结果让我们对现有NVS方法的局限性有了一些了解，并可能促进新的NVS方法的开发。

🔬 方法详解

问题定义：论文旨在解决新视角合成(NVS)技术在动态场景下，如何更准确地评估其生成质量的问题。现有方法，如PSNR和SSIM等客观指标，与人类主观感知之间存在较大差距，尤其是在处理动态场景时，无法有效反映用户真实的视觉体验。此外，现有研究在场景覆盖度、观看路径多样性以及对动态场景的关注度方面存在不足。

核心思路：论文的核心思路是通过进行大规模的主观实验，收集人类对不同NVS方法在动态场景下生成结果的感知质量评分。通过分析这些主观评分，可以更好地了解哪些因素影响了人类对NVS质量的感知，并为开发更符合人类视觉特性的客观质量评价指标提供依据。同时，通过对比不同NVS方法的主观评分，可以评估它们在动态场景下的性能优劣。

技术框架：论文的技术框架主要包括以下几个阶段：1) 数据集构建：收集包含动态场景的视频数据，并使用不同的NVS方法（包括基于高斯溅射和NeRF的方法）生成新视角的视频。2) 主观实验设计：设计两种类型的主观实验，分别评估不同观看路径（360°、正面、单视点）对NVS质量的影响。3) 主观实验实施：招募受试者观看生成的视频，并根据其感知质量进行评分。4) 数据分析：分析收集到的主观评分数据，计算不同NVS方法的平均意见得分(MOS)，并评估现有客观指标与主观评分的相关性。

关键创新：论文的关键创新在于：1) 首次针对动态场景下的NVS方法进行大规模的主观质量评估。2) 考虑了不同观看路径对NVS质量的影响，设计了两种类型的主观实验。3) 构建了一个包含主观质量评估的动态场景NVS数据库，为后续研究提供了基准。

关键设计：在主观实验设计方面，论文考虑了不同观看路径的影响，设计了360°、正面和单视点三种观看方式。为了保证实验结果的可靠性，论文采用了标准的主观质量评估方法，如ITU-T P.910。在数据分析方面，论文使用了平均意见得分(MOS)作为主观质量的指标，并计算了现有客观指标与MOS之间的相关性，以评估其性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了包含动态场景的主观质量评估数据库，并评估了现有客观指标的性能。实验结果表明，现有客观指标与主观质量的相关性较低，尤其是在动态场景下。例如，PSNR和SSIM等指标无法准确反映人类对动态场景NVS质量的感知。这表明需要开发更符合人类视觉特性的客观质量评价指标。

🎯 应用场景

该研究成果可应用于虚拟现实(VR)、增强现实(AR)、3D建模、游戏开发以及医疗影像等领域。通过更准确地评估新视角合成的质量，可以提升用户在这些应用中的沉浸感和体验。此外，该研究为开发更符合人类视觉特性的客观质量评价指标提供了依据，有助于推动新视角合成技术的发展。

📄 摘要（原文）

Gaussian Splatting (GS) and Neural Radiance Fields (NeRF) are two groundbreaking technologies that have revolutionized the field of Novel View Synthesis (NVS), enabling immersive photorealistic rendering and user experiences by synthesizing multiple viewpoints from a set of images of sparse views. The potential applications of NVS, such as high-quality virtual and augmented reality, detailed 3D modeling, and realistic medical organ imaging, underscore the importance of quality assessment of NVS methods from the perspective of human perception. Although some previous studies have explored subjective quality assessments for NVS technology, they still face several challenges, especially in NVS methods selection, scenario coverage, and evaluation methodology. To address these challenges, we conducted two subjective experiments for the quality assessment of NVS technologies containing both GS-based and NeRF-based methods, focusing on dynamic and real-world scenes. This study covers 360°, front-facing, and single-viewpoint videos while providing a richer and greater number of real scenes. Meanwhile, it's the first time to explore the impact of NVS methods in dynamic scenes with moving objects. The two types of subjective experiments help to fully comprehend the influences of different viewing paths from a human perception perspective and pave the way for future development of full-reference and no-reference quality metrics. In addition, we established a comprehensive benchmark of various state-of-the-art objective metrics on the proposed database, highlighting that existing methods still struggle to accurately capture subjective quality. The results give us some insights into the limitations of existing NVS methods and may promote the development of new NVS methods.