DyGASR: Dynamic Generalized Exponential Splatting with Surface Alignment for Accelerated 3D Mesh Reconstruction

📄 arXiv: 2411.09156v2 📥 PDF

作者: Shengchao Zhao, Yundong Li

分类: cs.CV, cs.GR

发布日期: 2024-11-14 (更新: 2024-11-25)

💡 一句话要点

DyGASR：基于动态广义指数Splatting与表面对齐的加速3D网格重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D网格重建 高斯Splatting 广义指数函数 表面正则化 动态分辨率 神经渲染 三维重建

📋 核心要点

  1. 现有基于3D高斯Splatting的网格重建方法，由于高斯点数量庞大且低通特性，难以提取高质量网格。
  2. DyGASR通过使用广义指数函数减少粒子数量，并引入广义表面正则化确保点云与表面对齐，从而优化网格重建。
  3. 实验结果表明，DyGASR在重建速度上提升了25%，内存使用量降低了30%，显著优于现有方法。

📝 摘要（中文）

本文提出DyGASR，旨在解决基于3D高斯Splatting（3DGS）的网格重建中，高斯点数量庞大以及低通特性导致难以表示尖锐信号的问题。DyGASR使用广义指数函数代替传统3D高斯函数，以减少粒子数量并动态优化信号表示。针对广义指数分布中心可能无法精确对齐场景表面的问题，引入广义表面正则化（GSR），将每个点云的最小缩放向量减小到零，并确保法线与表面垂直对齐，从而促进后续的泊松表面网格重建。此外，提出了一种动态分辨率调整策略，在训练阶段利用余弦调度逐步提高图像分辨率，避免恒定全分辨率，从而显著提高重建速度。实验表明，该方法优于现有的基于3DGS的网格重建方法，速度提高25％，内存使用量减少30％。

🔬 方法详解

问题定义：现有基于3D高斯Splatting (3DGS) 的网格重建方法，由于需要处理大量的3D高斯点，计算复杂度高，且3D高斯固有的低通特性难以准确表示场景中的尖锐边缘和细节，导致重建的网格质量受限。此外，直接使用广义指数Splatting (GES) 进行网格重建时，GES的中心点可能无法精确对齐场景表面，导致重建失败。

核心思路：DyGASR的核心思路是通过使用广义指数函数代替传统3D高斯函数来减少需要处理的粒子数量，从而降低计算复杂度。同时，通过引入广义表面正则化 (GSR) 确保广义指数分布的中心点与场景表面对齐，解决GES中心点偏移的问题。此外，采用动态分辨率调整策略，在训练初期使用低分辨率图像，逐步过渡到高分辨率图像，加速训练过程。

技术框架：DyGASR的整体框架包含以下几个主要阶段：1) 使用广义指数函数进行场景表示；2) 通过优化广义指数函数的参数来拟合场景；3) 引入广义表面正则化 (GSR) 确保点云与表面对齐；4) 使用动态分辨率调整策略加速训练；5) 使用泊松表面重建算法从优化后的点云中提取网格。

关键创新：DyGASR的关键创新点在于：1) 使用广义指数函数代替传统3D高斯函数，减少了粒子数量，降低了计算复杂度；2) 引入了广义表面正则化 (GSR)，解决了GES中心点偏移的问题，提高了网格重建的质量；3) 提出了动态分辨率调整策略，加速了训练过程。与现有方法相比，DyGASR在保证重建质量的同时，显著提高了重建速度和降低了内存使用量。

关键设计：动态分辨率调整策略使用余弦调度函数来控制图像分辨率的逐步增加。广义表面正则化 (GSR) 通过最小化每个点云的最小缩放向量来实现表面对齐，并确保法线方向与表面垂直。损失函数包含渲染损失和正则化损失，其中渲染损失用于优化广义指数函数的参数，正则化损失用于约束点云的形状和位置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DyGASR在多个场景数据集上均优于现有的基于3DGS的网格重建方法。具体而言，DyGASR在重建速度上平均提升了25%，同时内存使用量平均降低了30%。这些结果验证了DyGASR在加速重建和降低资源消耗方面的有效性。

🎯 应用场景

DyGASR在三维重建领域具有广泛的应用前景，例如：虚拟现实/增强现实（VR/AR）、游戏开发、机器人导航、自动驾驶、文物数字化保护、城市建模等。该方法能够快速、高效地重建高质量的三维模型，为相关应用提供基础数据和技术支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advancements in 3D Gaussian Splatting (3DGS), which lead to high-quality novel view synthesis and accelerated rendering, have remarkably improved the quality of radiance field reconstruction. However, the extraction of mesh from a massive number of minute 3D Gaussian points remains great challenge due to the large volume of Gaussians and difficulty of representation of sharp signals caused by their inherent low-pass characteristics. To address this issue, we propose DyGASR, which utilizes generalized exponential function instead of traditional 3D Gaussian to decrease the number of particles and dynamically optimize the representation of the captured signal. In addition, it is observed that reconstructing mesh with Generalized Exponential Splatting(GES) without modifications frequently leads to failures since the generalized exponential distribution centroids may not precisely align with the scene surface. To overcome this, we adopt Sugar's approach and introduce Generalized Surface Regularization (GSR), which reduces the smallest scaling vector of each point cloud to zero and ensures normal alignment perpendicular to the surface, facilitating subsequent Poisson surface mesh reconstruction. Additionally, we propose a dynamic resolution adjustment strategy that utilizes a cosine schedule to gradually increase image resolution from low to high during the training stage, thus avoiding constant full resolution, which significantly boosts the reconstruction speed. Our approach surpasses existing 3DGS-based mesh reconstruction methods, as evidenced by extensive evaluations on various scene datasets, demonstrating a 25\% increase in speed, and a 30\% reduction in memory usage.