Nexels: Neurally-Textured Surfels for Real-Time Novel View Synthesis with Sparse Geometries

📄 arXiv: 2512.13796v1 📥 PDF

作者: Victor Rong, Jan Held, Victor Chu, Daniel Rebain, Marc Van Droogenbroeck, Kiriakos N. Kutulakos, Andrea Tagliasacchi, David B. Lindell

分类: cs.CV

发布日期: 2025-12-15

备注: Webpage at https://lessvrong.com/cs/nexels

💡 一句话要点

提出基于神经纹理Surfel的新视角合成方法，在稀疏几何下实现实时渲染。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 新视角合成 神经渲染 Surfel 神经纹理 实时渲染

📋 核心要点

  1. 高斯溅射在新视角合成中表现出色，但建模高纹理场景需要数百万个图元，即使场景几何结构简单。
  2. 论文提出使用Surfel表示几何，并结合全局神经场和每个图元的颜色来表示外观，解耦几何与外观。
  3. 实验表明，该方法在保证感知质量的同时，显著减少了图元数量和内存占用，并提高了渲染速度。

📝 摘要（中文）

本文提出了一种超越基于点的渲染的新表示方法，旨在解耦几何和外观，从而实现紧凑的场景表示。该方法使用Surfel表示几何，并结合全局神经场和每个图元的颜色来表示外观。神经场为每个像素的固定数量的图元进行纹理化，确保计算开销较低。实验结果表明，在户外场景中，该表示方法在匹配3D高斯溅射的感知质量的同时，使用的图元数量减少了9.7倍，内存减少了5.5倍；在室内场景中，图元数量减少了31倍，内存减少了3.7倍。此外，该表示方法的渲染速度是现有纹理图元的两倍，同时提高了视觉质量。

🔬 方法详解

问题定义：现有基于高斯溅射的新视角合成方法，在处理高纹理场景时需要大量的图元，导致计算和存储成本高昂，即使场景的几何结构相对简单。这限制了其在资源受限设备上的应用，并影响了渲染效率。

核心思路：论文的核心思路是将场景的几何信息和外观信息解耦。使用Surfel（表面元素）来表示场景的几何结构，Surfel是一种带有法向量和位置信息的微小表面片。然后，使用一个全局神经场和一个per-primitive颜色来表示场景的外观。神经场负责对Surfel进行纹理化，从而在保持视觉质量的同时，减少了所需的图元数量。

技术框架：该方法主要包含以下几个阶段：1. Surfel初始化：使用现有的三维重建方法（如SfM或SLAM）获取场景的稀疏几何信息，并将其表示为一组Surfel。2. 神经纹理场训练：训练一个全局神经场，该神经场以三维空间坐标为输入，输出颜色和不透明度。该神经场负责对Surfel进行纹理化。3. 渲染：对于每个像素，选择固定数量的Surfel，并使用神经场对其进行纹理化。然后，将纹理化的Surfel进行混合，得到最终的像素颜色。

关键创新：该方法最重要的创新点在于将几何表示（Surfel）与外观表示（神经纹理场）解耦。这种解耦使得可以使用较少的图元来表示复杂的场景，从而降低了计算和存储成本。此外，使用神经场进行纹理化可以生成高质量的渲染结果，并能够处理复杂的材质和光照效果。

关键设计：关键设计包括：1. Surfel选择策略：选择哪些Surfel参与渲染对最终的渲染质量至关重要。论文可能采用基于深度或法向量的策略来选择相关的Surfel。2. 神经场结构：神经场的结构（如MLP的层数和每层神经元数量）会影响其表达能力和训练难度。3. 损失函数：损失函数用于训练神经场，通常包括渲染损失（如L1或L2损失）和正则化项，以防止过拟合。

📊 实验亮点

实验结果表明，与3D高斯溅射相比，该方法在户外场景中使用的图元数量减少了9.7倍，内存减少了5.5倍；在室内场景中，图元数量减少了31倍，内存减少了3.7倍。同时，该方法的渲染速度是现有纹理图元的两倍，并提高了视觉质量。这些数据表明，该方法在保持视觉质量的同时，显著降低了计算和存储成本。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏开发等领域。通过减少场景的图元数量和内存占用，可以在移动设备上实现高质量的新视角合成，提升用户体验。此外，该方法还可以用于三维重建、场景编辑等任务，具有广泛的应用前景。

📄 摘要（原文）

Though Gaussian splatting has achieved impressive results in novel view synthesis, it requires millions of primitives to model highly textured scenes, even when the geometry of the scene is simple. We propose a representation that goes beyond point-based rendering and decouples geometry and appearance in order to achieve a compact representation. We use surfels for geometry and a combination of a global neural field and per-primitive colours for appearance. The neural field textures a fixed number of primitives for each pixel, ensuring that the added compute is low. Our representation matches the perceptual quality of 3D Gaussian splatting while using $9.7\times$ fewer primitives and $5.5\times$ less memory on outdoor scenes and using $31\times$ fewer primitives and $3.7\times$ less memory on indoor scenes. Our representation also renders twice as fast as existing textured primitives while improving upon their visual quality.