NRF-GS: Neural Residual Fields for Expressive and Compact Gaussian Splatting

📄 arXiv: 2609.37115v1 📥 PDF

作者: Pratik Singh Bisht, Andreas Kolb

分类: cs.CV, cs.GR

发布日期: 2026-09-29

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出NRF-GS以解决3D高斯点云表达能力不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯点云 神经网络 外观建模 高频细节 渲染质量 计算机图形学 虚拟现实

📋 核心要点

  1. 现有3D高斯点云方法在视角依赖反射建模上存在表达能力不足的问题，导致需要增加点的数量以弥补。
  2. 本文提出NRF-GS，通过使用共享的神经残差场替代低阶球谐函数，增强了高频方向性反射的建模能力。
  3. 实验结果表明，NRF-GS在渲染质量上与现有方法相当或更优，同时高斯数量减少了50%，并在高频细节上有显著提升。

📝 摘要（中文）

本文重新审视了3D高斯点云（3DGS）中的外观建模角色，指出低阶球谐函数（SH）在视角依赖反射建模中的局限性，导致表示冗余。我们提出了NRF-GS（神经残差场用于高斯点云），通过共享的神经残差场替代每个点的SH基，增强了方向性反射建模能力。该方法结合了每个高斯的漫反射特征与全局场景级多层感知机（MLP）预测的视角依赖残差，显著提高了高频细节的表达能力，减少了几何冗余，最终实现了渲染质量的提升和高达50%的高斯数量减少。

🔬 方法详解

问题定义：本文旨在解决现有3D高斯点云方法在视角依赖反射建模中的表达能力不足，尤其是在高频方向性效果的捕捉上存在局限，导致表示冗余。

核心思路：我们提出NRF-GS，通过引入共享的神经残差场来替代每个高斯点的低阶球谐函数，从而提高高频细节的表达能力，减少冗余的高斯点数量。

技术框架：NRF-GS的整体架构包括每个高斯点的紧凑外观特征和漫反射基色，以及一个全局场景级的多层感知机（MLP），该MLP根据视角、距离和每个高斯点的特征预测视角依赖的残差。

关键创新：NRF-GS的主要创新在于通过共享神经残差场来增强方向性反射建模能力，特别是在镜面区域的高频细节捕捉上，与传统方法相比显著提高了表达能力。

关键设计：在设计中，我们采用了轻量级的全局MLP结构，确保了模型的高效性，同时通过优化损失函数来平衡漫反射与残差的贡献，从而实现更好的渲染效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，NRF-GS在渲染质量上与传统方法相当或更优，同时高斯数量减少了高达50%。在镜面和高频细节的表现上，NRF-GS显著优于基线方法，展示了其在高频反射建模上的优势。

🎯 应用场景

该研究在计算机图形学、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提高3D场景的渲染质量和效率，NRF-GS可以为游戏开发、影视制作以及科学可视化等行业提供更为真实和细腻的视觉体验，推动相关技术的发展与应用。

📄 摘要（原文）

We revisit the role of appearance modeling in 3D Gaussian Splatting (3DGS) and show that limited expressiveness in view-dependent reflectance is a key driver of representation redundancy. In standard 3DGS, low-order spherical harmonics (SH) are used, restricting the splats' ability to model high-frequency directional effects, which is typically compensated by increasing the number of splats. We propose \emph{NRF-GS: Neural Residual Fields for Gaussian Splatting}, a hybrid representation that replaces per-splat SH-bases with a shared neural residual field. Each Gaussian encodes a compact set of appearance features and a lambertian base color, while a lightweight \emph{global scene-level MLP} predicts view-dependent residuals conditioned on viewing direction, distance, and per-splat features. This formulation enhances directional reflectance modeling by combining diffuse per-splat reflectance representations with a shared global function for high-frequency details, enabling both higher expressiveness and parameter sharing across splats. Our key insight is that by accurately capturing high-frequency directional reflectance, especially in specular regions, the GS-representation becomes more expressive, reducing the need for geometrically redundant splats. As a result, NRF-GS achieves comparable or better rendering quality while reducing the number of Gaussians by up to 50\%, and produces visibly improved specular and high-frequency details.