GS-QA: Comprehensive Quality Assessment Benchmark for Gaussian Splatting View Synthesis

📄 arXiv: 2502.13196v2 📥 PDF

作者: Pedro Martin, António Rodrigues, João Ascenso, Maria Paula Queluz

分类: cs.MM, cs.CV

发布日期: 2025-02-18 (更新: 2025-06-16)

💡 一句话要点

GS-QA：高斯溅射视角合成的综合质量评估基准

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 视角合成 质量评估 主观评价 客观指标 3D渲染 神经辐射场

📋 核心要点

  1. 现有高斯溅射(GS)方法缺乏深入的质量评估，尤其是在静态内容生成方面，阻碍了其进一步发展和应用。
  2. 该研究通过主观质量评估实验，系统地评估了多种GS方法在不同场景和相机轨迹下的视频合成质量。
  3. 研究分析了18种客观质量指标的性能，揭示了它们与人类感知的对齐程度，并提供了一个全面的GS质量评估基准。

📝 摘要（中文）

高斯溅射(GS)为实时3D场景渲染提供了一种有前景的替代方案，优于神经辐射场(NeRF)。GS使用一组3D高斯函数来表示复杂的几何形状和外观，与NeRF中使用的神经网络方法相比，实现了更快的渲染时间和更低的内存消耗。然而，对于GS生成的静态内容的质量评估尚未进行深入研究。本文描述了一项主观质量评估研究，旨在评估使用几种最先进的静态GS方法合成的视频。这些方法应用于不同的视觉场景，涵盖360度和前向(FF)相机轨迹。此外，使用主观研究的结果分数分析了18个客观质量指标的性能，从而深入了解了它们的优势、局限性和与人类感知的对齐程度。所有视频和分数均已发布，提供了一个全面的数据库，可用作GS视角合成和客观质量指标的基准。

🔬 方法详解

问题定义：论文旨在解决高斯溅射(GS)视角合成质量评估的问题。现有方法，特别是针对静态内容的评估，缺乏深入研究和统一标准，难以有效衡量和比较不同GS算法的性能优劣。这阻碍了GS技术的发展和实际应用，因为用户难以选择最适合特定场景的算法。

核心思路：论文的核心思路是通过主观质量评估实验，收集人类对不同GS算法合成视频质量的感知数据，以此作为客观质量指标评估的基准。通过分析客观指标与主观评分之间的相关性，可以了解哪些指标更符合人类视觉感知，从而为GS算法的改进和选择提供指导。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择代表性的GS算法，并应用于不同的视觉场景，生成合成视频；2) 设计主观质量评估实验，邀请受试者观看合成视频并进行评分；3) 计算各种客观质量指标对合成视频的评分；4) 分析客观指标评分与主观评分之间的相关性，评估客观指标的性能。

关键创新：该研究的关键创新在于构建了一个全面的GS视角合成质量评估基准，包括主观评分数据和客观指标评分数据。该基准可以用于评估新的GS算法的性能，比较不同客观质量指标的优劣，并指导GS算法的改进。此外，该研究还分析了不同客观指标与人类感知的对齐程度，为客观指标的选择提供了参考。

关键设计：主观质量评估实验中，采用了多种视觉场景，包括360度和前向相机轨迹，以保证评估的全面性。选择了18种常用的客观质量指标，涵盖了不同的图像质量特征。在分析客观指标与主观评分之间的相关性时，采用了多种统计方法，如皮尔逊相关系数和斯皮尔曼等级相关系数，以保证结果的可靠性。

📊 实验亮点

该研究构建了一个包含多种GS算法、不同视觉场景和主客观质量评分的综合数据库，为GS视角合成质量评估提供了一个可靠的基准。实验结果表明，某些客观质量指标与人类感知具有较高的相关性，而另一些指标则表现不佳。该研究为GS算法的改进和客观质量指标的选择提供了有价值的参考。

🎯 应用场景

该研究成果可广泛应用于虚拟现实、增强现实、游戏开发、电影制作等领域。通过使用该研究提供的质量评估基准，开发者可以选择和优化GS算法，从而提高渲染质量和用户体验。此外，该研究还可以促进客观质量评估指标的发展，使其更好地与人类视觉感知对齐。

📄 摘要（原文）

Gaussian Splatting (GS) offers a promising alternative to Neural Radiance Fields (NeRF) for real-time 3D scene rendering. Using a set of 3D Gaussians to represent complex geometry and appearance, GS achieves faster rendering times and reduced memory consumption compared to the neural network approach used in NeRF. However, quality assessment of GS-generated static content is not yet explored in-depth. This paper describes a subjective quality assessment study that aims to evaluate synthesized videos obtained with several static GS state-of-the-art methods. The methods were applied to diverse visual scenes, covering both 360-degree and forward-facing (FF) camera trajectories. Moreover, the performance of 18 objective quality metrics was analyzed using the scores resulting from the subjective study, providing insights into their strengths, limitations, and alignment with human perception. All videos and scores are made available providing a comprehensive database that can be used as benchmark on GS view synthesis and objective quality metrics.