Compact Neural Appearance Models for Efficient Gaussian Splatting

📄 arXiv: 2609.05255v1 📥 PDF

作者: Florian Hahlbohm, Jorge Condor, Linus Franke, Martin Eisemann, Marcus Magnor

分类: cs.CV, cs.GR

发布日期: 2026-09-04

备注: Project page: https://fhahlbohm.github.io/efficient-gaussian-appearance

💡 一句话要点

提出紧凑神经外观模型以提高高斯点云渲染效率

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经外观模型 高斯点云 球谐函数 计算机图形学 实时渲染 优化算法 潜在编码

📋 核心要点

  1. 现有的低阶球谐函数（SH）模型在存储和内存流量上存在显著不足，且限制了角度细节的表现力。
  2. 论文提出了一种隐式的神经外观模型，通过小型共享MLP解码每个原始体的潜在编码，从而提高了效率。
  3. 实验结果表明，新的模型在每个原始体的外观占用空间上从192字节减少到28字节，同时优化速度提升了1.3倍，重建质量也有所改善。

📝 摘要（中文）

显式基于原始体的辐射场，如3D高斯点云，通常使用低阶球谐函数（SH）建模视角依赖的外观。尽管SH在评估上高效，但其系数占据了大量存储和内存流量，同时其带限基函数限制了角度细节。本文全面比较了SH和近期的球形外观模型，并提出了一种隐式替代方案，通过一个小型共享多层感知器（MLP）解码紧凑的每个原始体潜在编码。我们将所有模型集成到同一优化管道中，融合其前向和反向传播到一个可微分的CUDA光栅化器，并提供了一个便携的WebGL查看器，适用于笔记本和移动GPU。我们的评估显示，近期的球形模型在重建质量、内存使用和优化与渲染性能上提供了最佳的质量效率权衡。

🔬 方法详解

问题定义：本文旨在解决现有低阶球谐函数（SH）模型在存储和内存流量上的不足，以及其带限基函数对角度细节的限制。

核心思路：提出一种隐式神经外观模型，通过小型共享多层感知器（MLP）解码每个原始体的潜在编码，以提高外观表示的紧凑性和效率。

技术框架：整体架构包括一个优化的管道，融合了不同模型的前向和反向传播，利用可微分的CUDA光栅化器进行高效渲染，并提供WebGL查看器以支持多平台。

关键创新：最重要的技术创新在于引入了隐式外观模型，显著减少了每个原始体的外观占用空间，并提升了优化速度和重建质量，与传统SH模型相比具有本质区别。

关键设计：在设计中，采用了小型共享MLP作为解码器，优化了损失函数以适应不同模型的融合，确保了在内存使用和渲染性能上的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，新的神经外观模型在每个原始体的外观占用空间上从192字节减少到28字节，优化速度提升了1.3倍，同时重建质量也得到了改善，展现出优越的质量效率权衡。

🎯 应用场景

该研究的潜在应用领域包括计算机图形学、虚拟现实和增强现实等场景，能够为实时渲染提供更高效的外观表示方法。其实际价值在于降低了存储需求和提高了渲染速度，未来可能推动更复杂场景的实时渲染技术的发展。

📄 摘要（原文）

Explicit primitive-based radiance fields such as 3D Gaussian Splatting typically model view-dependent appearance using low-order spherical harmonics (SH). Although efficient to evaluate, SH coefficients dominate per-primitive storage and memory traffic, while their band-limited basis restricts angular detail. We present a thorough, end-to-end comparison of SH and recent spherical appearance models and introduce an implicit alternative that decodes compact per-primitive latent codes using a tiny shared MLP. We integrate all models into the same optimized pipeline, fusing their forward and backward passes into a differentiable CUDA rasterizer and provide a portable WebGL viewer for laptop and mobile GPUs. Our evaluation across reconstruction quality, memory use, and optimization and rendering performance shows that recent spherical models offer the strongest overall quality-efficiency trade-off. Our neural representation is the most compact model evaluated and, compared to third-degree SH, reduces the per-primitive appearance footprint from 192 to 28 bytes, accelerates optimization by 1.3$\times$, while improving reconstruction quality. We further analyze how appearance parametrization shapes optimization, identifying differences in recovered geometry and the tendency of expressive models to absorb non-static scene content. Together, our framework and analysis provide practical guidance for replacing SH beyond what image metrics alone can capture.