Perceptual-GS: Scene-adaptive Perceptual Densification for Gaussian Splatting

📄 arXiv: 2506.12400v2 📥 PDF

作者: Hongbi Zhou, Zhangkai Ni

分类: cs.CV

发布日期: 2025-06-14 (更新: 2025-06-20)

备注: Accepted to International Conference on Machine Learning (ICML) 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出场景自适应感知稠密化方法以解决高斯点云分布优化问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 新视角合成 感知敏感性 视觉关键区域 重建质量

📋 核心要点

  1. 现有3D高斯点云方法难以根据场景特征自适应优化高斯原语分布，影响重建质量与效率。
  2. 本文提出场景自适应感知稠密化（Perceptual-GS），通过引入感知敏感性来优化高斯原语分布。
  3. 在多个数据集上，Perceptual-GS在重建质量和效率上均表现出色，达到了最先进的性能水平。

📝 摘要（中文）

3D高斯点云（3DGS）已成为新视角合成的强大技术。然而，现有方法在根据场景特征自适应优化高斯原语分布方面存在困难，导致重建质量与效率之间的平衡挑战。为此，本文提出了一种场景自适应感知稠密化框架（Perceptual-GS），将感知敏感性融入3DGS训练过程中。我们首先引入了一种感知感知表示，建模人类视觉敏感性，同时限制高斯原语的数量。在此基础上，开发了一种感知敏感性自适应分布，将更细的高斯粒度分配给视觉关键区域，从而提高重建质量和鲁棒性。在多个数据集上的广泛评估表明，Perceptual-GS在重建质量、效率和鲁棒性方面达到了最先进的性能。

🔬 方法详解

问题定义：现有的3D高斯点云（3DGS）方法在根据场景特征自适应优化高斯原语分布时存在困难，导致重建质量与计算效率之间的平衡难以实现。

核心思路：本文提出的Perceptual-GS框架通过引入人类视觉感知的敏感性，优化高斯原语的分布，使得在视觉关键区域分配更细的高斯粒度，从而提升重建效果。

技术框架：该框架包括感知感知表示模块和感知敏感性自适应分布模块。前者用于建模人类视觉敏感性，后者则根据场景特征动态调整高斯原语的分布。

关键创新：Perceptual-GS的核心创新在于将感知敏感性融入训练过程，使得高斯原语的分布更加符合人类视觉的关注点，从而在重建质量和效率上超越了现有方法。

关键设计：在设计中，限制高斯原语数量的同时，采用了特定的损失函数来优化感知敏感性，并在网络结构中引入了感知感知表示，以确保模型能够有效捕捉视觉关键区域的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上的评估结果显示，Perceptual-GS在重建质量、效率和鲁棒性方面均优于现有方法，尤其在BungeeNeRF大规模场景中表现出色，达到了最先进的性能水平。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实以及计算机图形学中的新视角合成等。通过提高重建质量和效率，Perceptual-GS能够为用户提供更真实的视觉体验，推动相关技术的发展和应用。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for novel view synthesis. However, existing methods struggle to adaptively optimize the distribution of Gaussian primitives based on scene characteristics, making it challenging to balance reconstruction quality and efficiency. Inspired by human perception, we propose scene-adaptive perceptual densification for Gaussian Splatting (Perceptual-GS), a novel framework that integrates perceptual sensitivity into the 3DGS training process to address this challenge. We first introduce a perception-aware representation that models human visual sensitivity while constraining the number of Gaussian primitives. Building on this foundation, we develop a perceptual sensitivity-adaptive distribution to allocate finer Gaussian granularity to visually critical regions, enhancing reconstruction quality and robustness. Extensive evaluations on multiple datasets, including BungeeNeRF for large-scale scenes, demonstrate that Perceptual-GS achieves state-of-the-art performance in reconstruction quality, efficiency, and robustness. The code is publicly available at: https://github.com/eezkni/Perceptual-GS