Splat the Net: Radiance Fields with Splattable Neural Primitives
作者: Xilong Zhou, Bao-Huy Nguyen, Loïc Magne, Vladislav Golyanik, Thomas Leimkühler, Christian Theobalt
分类: cs.GR, cs.CV
发布日期: 2025-10-09
💡 一句话要点
提出可Splatting的神经基元，兼顾神经辐射场的表达能力和Splatting的渲染效率。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 3D高斯Splatting 新视角合成 可Splatting神经基元 体积渲染
📋 核心要点
- 神经辐射场渲染质量高但渲染速度慢，3D高斯Splatting速度快但表达能力有限，现有技术难以兼顾渲染质量和效率。
- 论文提出可Splatting的神经基元，用浅层神经网络参数化有界神经密度场，实现表达能力和渲染效率的平衡。
- 实验表明，该方法在保证渲染质量和速度的同时，显著减少了基元数量和参数量，无需复杂的控制或自适应框架。
📝 摘要（中文）
辐射场已成为建模3D场景外观的主要表示方法。神经辐射场等神经方法具有很高的表达能力，但需要昂贵的射线步进进行渲染；而基于图元的方法，如3D高斯Splatting，通过Splatting提供实时的效率，但牺牲了表达能力。受这两个方向进展的启发，我们引入了可Splatting的神经基元，这是一种新的体积表示，它协调了神经模型的表达能力和基于图元的Splatting的效率。每个基元编码一个由浅层神经网络参数化的有界神经密度场。我们的公式允许对线积分进行精确的解析解，从而能够有效地计算透视精确的Splatting核。因此，我们的表示支持沿视线积分，而无需昂贵的射线步进。这些基元灵活地适应场景几何，并且比以前的解析基元更大，从而减少了每个场景所需的数量。在新视角合成基准上，我们的方法在质量和速度上与3D高斯Splatting相匹配，同时使用的基元数量减少了10倍，参数数量减少了6倍。这些优势直接来自表示本身，而不依赖于复杂的控制或自适应框架。
🔬 方法详解
问题定义：现有神经辐射场（NeRF）方法渲染质量高，但需要进行耗时的射线步进（ray marching），计算成本高昂。而基于图元的3D高斯Splatting虽然渲染速度快，但表达能力有限，难以精确地表示复杂的场景几何和材质属性。因此，如何在保证渲染质量的前提下，提高渲染效率是一个重要的研究问题。
核心思路：论文的核心思路是将神经辐射场的表达能力与3D高斯Splatting的渲染效率相结合。具体来说，论文提出了一种新的体积表示，称为可Splatting的神经基元（splattable neural primitives）。每个基元都包含一个由浅层神经网络参数化的有界神经密度场，通过这种方式，每个基元可以表达比传统高斯分布更复杂的形状和外观。同时，由于使用了可Splatting的基元，因此可以避免耗时的射线步进，从而提高渲染效率。
技术框架：该方法的主要流程如下：1. 使用多个可Splatting的神经基元来表示3D场景。2. 每个基元都包含一个浅层神经网络，用于参数化其内部的神经密度场。3. 对于每个像素，通过Splatting操作将相关的基元投影到图像平面上。4. 使用解析解计算沿视线的积分，得到该像素的颜色值。5. 通过优化神经网络的参数，使得渲染图像与真实图像尽可能接近。
关键创新：该方法最重要的技术创新点在于提出了可Splatting的神经基元。与传统的基于解析函数的基元（如高斯分布）相比，神经基元具有更强的表达能力，可以更好地适应复杂的场景几何和材质属性。此外，该方法还推导出了线积分的精确解析解，从而可以高效地计算透视精确的Splatting核，避免了耗时的数值积分。
关键设计：每个神经基元使用一个浅层神经网络来参数化其内部的神经密度场。该神经网络的输入是3D空间中的坐标，输出是密度值和颜色值。损失函数包括渲染损失和正则化损失，用于约束神经网络的参数，防止过拟合。具体参数设置（如网络层数、神经元数量、学习率等）需要根据具体场景进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在新的视角合成基准上，在质量和速度上与3D高斯Splatting相匹配，同时使用的基元数量减少了10倍，参数数量减少了6倍。这意味着该方法可以在保证渲染质量和效率的同时，显著降低计算资源的需求，具有很强的实用价值。
🎯 应用场景
该研究成果可应用于虚拟现实、增强现实、游戏、自动驾驶等领域。通过高效地渲染高质量的3D场景，可以提升用户体验，降低计算成本，并为相关应用提供更强大的技术支持。未来，该方法有望进一步扩展到动态场景的建模和渲染，以及更复杂的材质和光照效果的模拟。
📄 摘要（原文）
Radiance fields have emerged as a predominant representation for modeling 3D scene appearance. Neural formulations such as Neural Radiance Fields provide high expressivity but require costly ray marching for rendering, whereas primitive-based methods such as 3D Gaussian Splatting offer real-time efficiency through splatting, yet at the expense of representational power. Inspired by advances in both these directions, we introduce splattable neural primitives, a new volumetric representation that reconciles the expressivity of neural models with the efficiency of primitive-based splatting. Each primitive encodes a bounded neural density field parameterized by a shallow neural network. Our formulation admits an exact analytical solution for line integrals, enabling efficient computation of perspectively accurate splatting kernels. As a result, our representation supports integration along view rays without the need for costly ray marching. The primitives flexibly adapt to scene geometry and, being larger than prior analytic primitives, reduce the number required per scene. On novel-view synthesis benchmarks, our approach matches the quality and speed of 3D Gaussian Splatting while using $10\times$ fewer primitives and $6\times$ fewer parameters. These advantages arise directly from the representation itself, without reliance on complex control or adaptation frameworks. The project page is https://vcai.mpi-inf.mpg.de/projects/SplatNet/.