Evaluating CrowdSplat: Perceived Level of Detail for Gaussian Crowds

📄 arXiv: 2501.17085v2 📥 PDF

作者: Xiaohan Sun, Yinghan Xu, John Dingliana, Carol O'Sullivan

分类: cs.CV

发布日期: 2025-01-28 (更新: 2025-03-04)

备注: 5 pages, 5 figures

💡 一句话要点

评估CrowdSplat：高斯人群的感知细节层次，优化实时渲染。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 人群渲染 高斯溅射 细节层次 感知质量 虚拟现实

📋 核心要点

  1. 现有实时人群渲染方法在效率和真实感之间存在权衡，需要更优的LOD策略。
  2. 该论文通过2AFC实验评估了3D高斯化身在不同运动、LOD和观看距离下的感知质量。
  3. 实验结果可指导基于高斯的人群渲染LOD优化，在保证视觉质量的同时提升渲染效率。

📝 摘要（中文）

高效且逼真的人群渲染是虚拟现实(VR)和游戏等许多实时图形应用的重要组成部分。为了实现这一目标，已经提出并评估了细节层次(LOD)的化身表示，例如多边形网格、基于图像的impostor和点云。最近，3D高斯溅射已被探索作为实时人群渲染的潜在方法。在本文中，我们提出了一个双选强迫选择(2AFC)实验，旨在确定3D高斯化身的感知质量。我们探索了三个因素：运动、LOD(即高斯数量)和化身在像素中的高度(对应于观看距离)。参与者观看了成对的动画3D高斯化身，并被要求选择最详细的一个。我们的发现可以为基于高斯的人群渲染中的LOD策略优化提供信息，从而有助于在实时应用中实现高效渲染，同时保持视觉质量。

🔬 方法详解

问题定义：论文旨在解决实时人群渲染中，如何在高斯溅射表示下，选择合适的细节层次(LOD)，以在渲染效率和视觉质量之间取得平衡的问题。现有方法缺乏对高斯化身感知质量的系统评估，难以指导LOD策略的优化。

核心思路：论文的核心思路是通过心理物理学实验，即双选强迫选择(2AFC)实验，来量化不同LOD、运动和观看距离下，用户对高斯化身细节程度的感知。通过分析实验数据，可以确定在不同场景下，保证用户感知质量所需的最小高斯数量。

技术框架：该研究的技术框架主要包含以下几个步骤：1. 设计并实现基于3D高斯溅射的人群渲染系统，可以控制高斯数量、运动和观看距离等参数。2. 构建2AFC实验环境，招募参与者。3. 实验过程中，参与者观看成对的动画高斯化身，并选择细节程度更高的一个。4. 收集并分析实验数据，建立高斯数量、运动、观看距离与感知质量之间的关系模型。

关键创新：该论文的关键创新在于将心理物理学实验方法引入到高斯溅射人群渲染的LOD评估中。通过2AFC实验，可以更客观地量化用户对高斯化身细节程度的感知，从而为LOD策略的优化提供更可靠的依据。与传统的基于指标或主观评价的方法相比，该方法更贴近用户的真实感知。

关键设计：实验中，关键的设计包括：1. 选择合适的运动模式，例如行走、跑步等，以模拟真实人群的运动状态。2. 控制高斯数量的范围，使其覆盖不同的细节层次。3. 调整观看距离，模拟不同场景下的观看条件。4. 采用2AFC实验范式，确保实验结果的可靠性。5. 使用统计方法分析实验数据，例如logistic回归，建立感知质量与实验参数之间的关系模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过2AFC实验，量化了3D高斯化身在不同运动、LOD和观看距离下的感知质量。实验结果表明，在保证用户感知质量的前提下，可以通过调整高斯数量来优化渲染效率。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可应用于虚拟现实、游戏、电影等需要实时人群渲染的领域。通过优化基于高斯溅射的人群渲染LOD策略，可以在保证视觉质量的前提下，显著提升渲染效率，从而支持更大规模、更逼真的人群模拟。此外，该方法也可以推广到其他基于点的渲染方法中。

📄 摘要（原文）

Efficient and realistic crowd rendering is an important element of many real-time graphics applications such as Virtual Reality (VR) and games. To this end, Levels of Detail (LOD) avatar representations such as polygonal meshes, image-based impostors, and point clouds have been proposed and evaluated. More recently, 3D Gaussian Splatting has been explored as a potential method for real-time crowd rendering. In this paper, we present a two-alternative forced choice (2AFC) experiment that aims to determine the perceived quality of 3D Gaussian avatars. Three factors were explored: Motion, LOD (i.e., #Gaussians), and the avatar height in Pixels (corresponding to the viewing distance). Participants viewed pairs of animated 3D Gaussian avatars and were tasked with choosing the most detailed one. Our findings can inform the optimization of LOD strategies in Gaussian-based crowd rendering, thereby helping to achieve efficient rendering while maintaining visual quality in real-time applications.