Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes

📄 arXiv: 2409.18852v1 📥 PDF

作者: Shuo Wang, Binbin Huang, Ruoyu Wang, Shenghua Gao

分类: cs.CV

发布日期: 2024-09-27

备注: Project page: https://tb2-sy.github.io/st-2dgs/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出时空2D高斯溅射，用于复杂动态场景下精确表面重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)

关键词: 动态场景重建 2D高斯溅射 时空形变 深度正则化 法线正则化 遮挡处理 可微分渲染

📋 核心要点

  1. 现有表面重建方法在处理复杂动态场景时，面临几何精度不足或训练时间过长的问题，难以兼顾效率与质量。
  2. 论文提出时空2D高斯溅射方法，通过学习规范2D高斯并进行时空形变，结合深度和法线正则化，提升重建质量。
  3. 实验结果表明，该方法在真实数据集上优于现有技术，尤其在细节表面的重建方面表现突出，有效应对了遮挡问题。

📝 摘要（中文）

本文提出了一种时空2D高斯溅射方法，旨在解决真实复杂动态场景（涉及多人活动和人-物交互）中，现有表面重建方法几何精度低或训练时间长的问题。为了处理复杂场景中的动态内容和遮挡，我们学习规范的2D高斯溅射，并通过引入深度和法线正则化，在形变这些2D高斯溅射的同时，强制高斯盘位于物体表面。此外，为了解决复杂场景中的遮挡问题，我们引入了一种组合不透明度形变策略，进一步减少了对遮挡区域的表面恢复。在真实稀疏视角视频数据集和单目动态数据集上的实验表明，我们的重建方法优于最先进的方法，尤其是在细节表面方面。

🔬 方法详解

问题定义：现有方法在处理复杂动态场景下的表面重建时，面临两个主要痛点。一是几何精度不足，难以捕捉精细的表面细节。二是训练时间过长，难以应用于实时或交互式应用。这些问题在多人活动、人-物交互等复杂场景中尤为突出。

核心思路：论文的核心思路是利用2D高斯溅射作为表征动态场景表面的基元，并学习其在时空中的形变。通过将高斯盘约束在物体表面，并引入深度和法线正则化，提高几何精度。同时，采用组合不透明度形变策略，有效处理遮挡问题，提升重建质量。

技术框架：该方法主要包含以下几个阶段：1) 初始化：学习规范的2D高斯溅射。2) 形变：对2D高斯溅射进行时空形变，以适应动态场景的变化。3) 正则化：引入深度和法线正则化，约束高斯盘位于物体表面，提高几何精度。4) 不透明度处理：采用组合不透明度形变策略，处理遮挡问题。整个框架通过可微分渲染进行端到端优化。

关键创新：该方法最重要的技术创新点在于将2D高斯溅射应用于动态场景的表面重建，并结合时空形变、深度和法线正则化以及组合不透明度形变策略，有效提高了重建的几何精度和鲁棒性。与现有方法相比，该方法能够更好地处理复杂动态场景中的遮挡和形变，并获得更精细的表面细节。

关键设计：关键设计包括：1) 深度和法线正则化损失函数，用于约束高斯盘位于物体表面。2) 组合不透明度形变策略，通过学习每个高斯的不透明度形变，有效处理遮挡问题。3) 采用可微分渲染，实现端到端优化。具体的参数设置和网络结构细节在论文中有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在真实稀疏视角视频数据集和单目动态数据集上，优于当前最先进的表面重建方法。尤其是在细节表面的重建方面，该方法表现突出，能够有效处理遮挡问题，并获得更精细的几何结构。具体的性能提升数据和对比基线在论文中有详细展示（未知）。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、机器人导航、自动驾驶等领域。例如，在VR/AR中，可以用于创建更逼真、更具交互性的动态场景。在机器人导航和自动驾驶中，可以用于准确重建周围环境，提高感知能力和决策能力。此外，该方法还可以应用于电影特效制作、游戏开发等领域。

📄 摘要（原文）

Previous surface reconstruction methods either suffer from low geometric accuracy or lengthy training times when dealing with real-world complex dynamic scenes involving multi-person activities, and human-object interactions. To tackle the dynamic contents and the occlusions in complex scenes, we present a space-time 2D Gaussian Splatting approach. Specifically, to improve geometric quality in dynamic scenes, we learn canonical 2D Gaussian splats and deform these 2D Gaussian splats while enforcing the disks of the Gaussian located on the surface of the objects by introducing depth and normal regularizers. Further, to tackle the occlusion issues in complex scenes, we introduce a compositional opacity deformation strategy, which further reduces the surface recovery of those occluded areas. Experiments on real-world sparse-view video datasets and monocular dynamic datasets demonstrate that our reconstructions outperform state-of-the-art methods, especially for the surface of the details. The project page and more visualizations can be found at: https://tb2-sy.github.io/st-2dgs/.