NeuralGS: Bridging Neural Fields and 3D Gaussian Splatting for Compact 3D Representations

📄 arXiv: 2503.23162v2 📥 PDF

作者: Zhenyu Tang, Chaoran Feng, Xinhua Cheng, Wangbo Yu, Junwu Zhang, Yuan Liu, Xiaoxiao Long, Wenping Wang, Li Yuan

分类: cs.CV

发布日期: 2025-03-29 (更新: 2025-08-13)

备注: Project page: https://pku-yuangroup.github.io/NeuralGS/

💡 一句话要点

NeuralGS：结合神经场与3D高斯溅射，实现紧凑的3D表示

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经场 3D高斯溅射 模型压缩 神经渲染 多层感知器

📋 核心要点

  1. 3D高斯溅射(3DGS)虽然渲染质量高，但模型体积庞大，存储和传输成本高昂，限制了其应用。
  2. NeuralGS利用神经场的紧凑表示能力，通过MLP网络编码3D高斯分布的属性，显著降低模型大小。
  3. 实验结果表明，NeuralGS在多个数据集上实现了平均91倍的模型尺寸缩减，同时保持了视觉质量。

📝 摘要（中文）

3D高斯溅射(3DGS)在渲染质量和速度方面表现出色，但需要数百万个3D高斯分布，导致存储和传输成本高昂。本文旨在开发一种简单而有效的方法NeuralGS，将原始3DGS压缩成紧凑的表示。我们观察到，像NeRF这样的神经场可以使用多层感知器(MLP)神经网络以仅几兆字节的大小表示复杂的3D场景。因此，NeuralGS有效地采用神经场表示来编码3D高斯分布的属性，即使对于大规模场景也只需要很小的存储空间。为了实现这一点，我们采用了一种聚类策略，并使用不同的小型MLP拟合每个簇中的高斯分布，基于高斯分布的重要性得分作为拟合权重。在多个数据集上的实验表明，我们的方法在不损害视觉质量的情况下，平均模型尺寸减少了91倍。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)虽然在神经渲染领域取得了显著进展，但其依赖于大量的3D高斯基元来表示场景，导致模型体积庞大，存储和传输成本高昂。这限制了3DGS在资源受限设备或需要快速传输的应用场景中的应用。因此，如何压缩3DGS模型，降低存储和传输成本，同时保持渲染质量，是一个重要的研究问题。

核心思路：NeuralGS的核心思路是利用神经场的紧凑表示能力来编码3D高斯分布的属性。具体来说，它将每个3D高斯分布的属性（如位置、缩放、旋转、颜色等）不再直接存储，而是通过一个小型MLP网络来预测。由于MLP网络可以用少量参数表示复杂的函数，因此可以显著降低模型大小。

技术框架：NeuralGS的整体框架包括以下几个主要步骤：1) 使用原始3DGS方法训练得到一个初始的3D高斯模型。2) 对3D高斯分布进行聚类，将相似的高斯分布划分到同一个簇中。3) 为每个簇分配一个小型MLP网络，用于预测该簇中高斯分布的属性。4) 使用高斯分布的重要性得分作为权重，训练每个MLP网络，使其能够准确预测对应簇中高斯分布的属性。5) 使用训练好的MLP网络替换原始3DGS模型中的高斯属性，得到压缩后的NeuralGS模型。

关键创新：NeuralGS的关键创新在于将神经场表示引入到3D高斯溅射中，利用MLP网络来编码高斯分布的属性。与直接存储高斯属性相比，这种方法可以显著降低模型大小，同时保持渲染质量。此外，NeuralGS还采用了聚类策略，为每个簇分配不同的MLP网络，进一步提高了模型的表示能力。

关键设计：NeuralGS的关键设计包括：1) 使用k-means算法对3D高斯分布进行聚类，簇的数量是一个重要的超参数。2) 每个MLP网络的结构（层数、每层神经元数量）需要根据具体场景进行调整。3) 使用高斯分布的重要性得分作为权重，训练MLP网络，确保重要的高斯分布能够被准确表示。4) 损失函数通常包括渲染损失和正则化损失，以保证渲染质量和模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NeuralGS在多个数据集上进行了实验，结果表明，该方法在不损害视觉质量的情况下，平均模型尺寸减少了91倍。例如，在某些场景下，原始3DGS模型的大小为数百兆字节，而NeuralGS模型的大小仅为几兆字节。此外，NeuralGS的渲染速度与原始3DGS模型相当，甚至在某些情况下略有提升。

🎯 应用场景

NeuralGS在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于创建更小、更易于传输的3D场景模型，从而降低存储和带宽需求，提高用户体验。此外，NeuralGS还可以应用于自动驾驶、机器人导航等领域，用于创建紧凑的3D地图表示。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) achieves impressive quality and rendering speed, but with millions of 3D Gaussians and significant storage and transmission costs. In this paper, we aim to develop a simple yet effective method called NeuralGS that compresses the original 3DGS into a compact representation. Our observation is that neural fields like NeRF can represent complex 3D scenes with Multi-Layer Perceptron (MLP) neural networks using only a few megabytes. Thus, NeuralGS effectively adopts the neural field representation to encode the attributes of 3D Gaussians with MLPs, only requiring a small storage size even for a large-scale scene. To achieve this, we adopt a clustering strategy and fit the Gaussians within each cluster using different tiny MLPs, based on importance scores of Gaussians as fitting weights. We experiment on multiple datasets, achieving a 91-times average model size reduction without harming the visual quality.