SparseSplat: Towards Applicable Feed-Forward 3D Gaussian Splatting with Pixel-Unaligned Prediction

📄 arXiv: 2604.03069 📥 PDF

作者: Zicheng Zhang, Xiangting Meng, Ke Wu, Wenchao Ding

分类: cs.CV

发布日期: 2026-04-06

💡 一句话要点

SparseSplat：首个自适应高斯密度的前馈3D高斯溅射，适用于下游重建任务

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 前馈网络 稀疏表示 点云网络 三维重建 神经渲染 自适应密度

📋 核心要点

  1. 现有前馈3DGS方法生成空间均匀且高度冗余的3DGS图，限制了其在下游重建任务中的应用。
  2. SparseSplat通过熵驱动的概率采样，自适应调整高斯密度，在不同区域分配不同大小和密度的的高斯分布。
  3. 实验表明，SparseSplat在显著减少高斯数量的同时，保持了甚至超越了现有技术的渲染质量。

📝 摘要（中文）

本文提出SparseSplat，一种前馈3D高斯溅射(3DGS)模型，能够根据场景结构和局部区域的信息丰富度自适应地调整高斯密度，从而生成高度紧凑的3DGS图。该方法通过基于熵的概率采样，在无纹理区域生成大的稀疏高斯分布，并在信息丰富的区域分配小的密集高斯分布。此外，设计了一个专门的点云网络，有效地编码局部上下文并将其解码为3DGS属性，解决了通用3DGS优化流程与前馈模型之间的感受野不匹配问题。实验结果表明，SparseSplat仅使用22%的高斯分布即可达到最先进的渲染质量，并且仅使用1.5%的高斯分布即可保持合理的渲染质量。

🔬 方法详解

问题定义：现有前馈3D高斯溅射方法生成的3DGS图在空间上是均匀的，并且存在高度冗余，这导致了计算和存储资源的浪费，并且限制了它们在下游重建任务中的应用。现有的方法无法根据场景的复杂度和信息量自适应地调整高斯分布的密度。

核心思路：SparseSplat的核心思路是根据场景的局部信息丰富度自适应地调整高斯分布的密度。具体来说，在纹理简单、信息量少的区域，使用大的、稀疏的高斯分布；而在纹理复杂、信息量大的区域，使用小的、密集的高斯分布。这种自适应调整可以有效地减少高斯分布的数量，同时保持甚至提高渲染质量。

技术框架：SparseSplat的整体框架包括以下几个主要模块：1) 特征提取：使用一个点云网络提取输入图像的局部特征。2) 概率采样：基于局部特征计算每个像素的熵，并使用基于熵的概率采样方法生成初始的高斯分布。3) 高斯属性预测：使用点云网络将局部特征解码为3DGS属性，包括位置、尺度、旋转和颜色等。4) 渲染：使用3DGS渲染方法将高斯分布渲染成图像。

关键创新：SparseSplat的关键创新在于以下几个方面：1) 提出了基于熵的概率采样方法，可以根据场景的局部信息丰富度自适应地调整高斯分布的密度。2) 设计了一个专门的点云网络，可以有效地编码局部上下文并将其解码为3DGS属性。3) 解决了通用3DGS优化流程与前馈模型之间的感受野不匹配问题。

关键设计：SparseSplat的关键设计包括：1) 使用PointNet++作为点云网络的主干网络。2) 使用交叉熵损失函数来训练点云网络。3) 使用自适应学习率调整策略来优化模型。4) 基于熵的概率采样中，熵的计算方式为像素邻域内特征方差的函数，用于衡量局部信息丰富度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SparseSplat在多个数据集上进行了实验，结果表明，SparseSplat仅使用22%的高斯分布即可达到最先进的渲染质量，并且仅使用1.5%的高斯分布即可保持合理的渲染质量。与现有前馈3DGS方法相比，SparseSplat在渲染质量和高斯数量之间取得了更好的平衡。

🎯 应用场景

SparseSplat在三维重建、虚拟现实、增强现实、自动驾驶等领域具有广泛的应用前景。它可以用于生成高质量、低存储的三维场景模型，从而提高渲染效率和降低存储成本。此外，SparseSplat还可以用于场景编辑、物体识别和姿态估计等任务。

📄 摘要（原文）

Recent progress in feed-forward 3D Gaussian Splatting (3DGS) has notably improved rendering quality. However, the spatially uniform and highly redundant 3DGS map generated by previous feed-forward 3DGS methods limits their integration into downstream reconstruction tasks. We propose SparseSplat, the first feed-forward 3DGS model that adaptively adjusts Gaussian density according to scene structure and information richness of local regions, yielding highly compact 3DGS maps. To achieve this, we propose entropy-based probabilistic sampling, generating large, sparse Gaussians in textureless areas and assigning small, dense Gaussians to regions with rich information. Additionally, we designed a specialized point cloud network that efficiently encodes local context and decodes it into 3DGS attributes, addressing the receptive field mismatch between the general 3DGS optimization pipeline and feed-forward models. Extensive experimental results demonstrate that SparseSplat can achieve state-of-the-art rendering quality with only 22% of the Gaussians and maintain reasonable rendering quality with only 1.5% of the Gaussians. Project page:this https URL.