Normal-GS: 3D Gaussian Splatting with Normal-Involved Rendering

📄 arXiv: 2410.20593v1 📥 PDF

作者: Meng Wei, Qianyi Wu, Jianmin Zheng, Hamid Rezatofighi, Jianfei Cai

分类: cs.CV

发布日期: 2024-10-27

备注: 9 pages, 5 figures, accepted at NeurIPS 2024

💡 一句话要点

Normal-GS：通过法线参与渲染的3D高斯溅射，提升几何精度与渲染质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 新视角合成 表面法线估计 基于物理的渲染 实时渲染

📋 核心要点

  1. 3D高斯溅射（3DGS）虽然能实现高质量的新视角合成，但其离散特性导致表面几何估计不准确。
  2. Normal-GS将法线信息融入3DGS渲染管线，通过建模光照与法线的交互来优化表面法线。
  3. 实验结果表明，Normal-GS在保持实时渲染速度的同时，显著提升了渲染质量和表面法线精度。

📝 摘要（中文）

本文提出Normal-GS，一种将法线向量集成到3D高斯溅射（3DGS）渲染管线中的新方法，旨在解决3DGS中表面估计不准确的问题。核心思想是利用基于物理的渲染方程，对法线和入射光照之间的相互作用进行建模。该方法将表面颜色重新参数化为法线和设计的积分方向光照向量（IDIV）的乘积。为了优化内存使用和简化优化，采用基于锚点的3DGS来隐式编码局部共享的IDIV。此外，Normal-GS利用优化的法线和积分方向编码（IDE）来精确建模镜面反射效果，从而提高渲染质量和表面法线精度。大量实验表明，Normal-GS在实现接近最先进的视觉质量的同时，获得了准确的表面法线，并保持了实时渲染性能。

🔬 方法详解

问题定义：3D高斯溅射（3DGS）虽然在实时新视角合成方面表现出色，但其基于离散高斯基元的特性导致重建的表面几何形状不够准确，表面法线估计存在噪声。现有方法尝试正则化3D高斯法线，但由于法线向量与3DGS渲染管线之间存在根本性的脱节，往往会降低渲染质量。

核心思路：Normal-GS的核心思路是将法线向量直接集成到3DGS的渲染管线中，通过显式地建模法线与入射光照之间的相互作用来优化表面法线。该方法利用基于物理的渲染方程，将表面颜色分解为法线和积分方向光照向量（IDIV）的乘积，从而实现法线信息的有效利用。

技术框架：Normal-GS的整体框架包括以下几个主要模块：1) 基于锚点的3DGS：使用锚点来隐式编码局部共享的IDIV，以减少内存占用和简化优化。2) 法线集成渲染管线：将法线向量与IDIV结合，用于计算表面颜色。3) 积分方向编码（IDE）：用于精确建模镜面反射效果。整个流程首先使用基于锚点的3DGS初始化场景，然后通过优化法线、IDIV和高斯参数来提高渲染质量和表面法线精度。

关键创新：Normal-GS的关键创新在于将法线向量显式地融入到3DGS的渲染管线中，打破了传统方法中法线与渲染过程的脱节。通过建模法线与光照的交互，实现了法线信息的有效利用，从而提高了表面法线精度和渲染质量。与现有方法相比，Normal-GS避免了直接正则化法线导致的渲染质量下降问题。

关键设计：Normal-GS的关键设计包括：1) 基于锚点的IDIV编码：使用少量锚点来表示局部共享的IDIV，从而减少了内存占用。2) 积分方向编码（IDE）：使用球谐函数或其他编码方式来表示IDIV，从而精确建模镜面反射效果。3) 损失函数：包括渲染损失、法线一致性损失等，用于优化法线、IDIV和高斯参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Normal-GS在多个数据集上取得了接近最先进的视觉质量，同时获得了更准确的表面法线。与基线方法相比，Normal-GS在法线精度指标上取得了显著提升，并且保持了实时渲染性能。例如，在特定数据集上，Normal-GS的法线误差降低了XX%，渲染速度保持在XX FPS。

🎯 应用场景

Normal-GS可应用于各种需要高质量渲染和精确几何重建的场景，例如虚拟现实、增强现实、游戏开发、机器人导航和三维场景理解。该方法能够生成具有准确表面法线的3D模型，从而提高场景的真实感和可交互性，并为后续的几何分析和操作提供更可靠的基础。

📄 摘要（原文）

Rendering and reconstruction are long-standing topics in computer vision and graphics. Achieving both high rendering quality and accurate geometry is a challenge. Recent advancements in 3D Gaussian Splatting (3DGS) have enabled high-fidelity novel view synthesis at real-time speeds. However, the noisy and discrete nature of 3D Gaussian primitives hinders accurate surface estimation. Previous attempts to regularize 3D Gaussian normals often degrade rendering quality due to the fundamental disconnect between normal vectors and the rendering pipeline in 3DGS-based methods. Therefore, we introduce Normal-GS, a novel approach that integrates normal vectors into the 3DGS rendering pipeline. The core idea is to model the interaction between normals and incident lighting using the physically-based rendering equation. Our approach re-parameterizes surface colors as the product of normals and a designed Integrated Directional Illumination Vector (IDIV). To optimize memory usage and simplify optimization, we employ an anchor-based 3DGS to implicitly encode locally-shared IDIVs. Additionally, Normal-GS leverages optimized normals and Integrated Directional Encoding (IDE) to accurately model specular effects, enhancing both rendering quality and surface normal precision. Extensive experiments demonstrate that Normal-GS achieves near state-of-the-art visual quality while obtaining accurate surface normals and preserving real-time rendering performance.