Improving Geometry in Sparse-View 3DGS via Reprojection-based DoF Separation

📄 arXiv: 2412.14568v1 📥 PDF

作者: Yongsung Kim, Minjun Park, Jooyoung Choi, Sungroh Yoon

分类: cs.CV

发布日期: 2024-12-19

备注: 11 pages

💡 一句话要点

提出基于重投影的自由度分离方法，提升稀疏视角3DGS的几何重建质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 3D高斯溅射 多视角立体 自由度分离 重投影 几何优化

📋 核心要点

  1. 现有基于学习的MVS模型后接3DGS微调时，3DGS过多的位置自由度易导致几何结构失真。
  2. 提出基于重投影的自由度分离方法，区分图像平面平行和射线对齐的自由度，并施加不同约束。
  3. 实验表明，该方法能有效抑制几何伪影，重建结果在视觉和几何上都更合理。

📝 摘要（中文）

最近基于学习的多视角立体模型在稀疏视角3D重建中表现出最先进的性能。然而，直接将3D高斯溅射（3DGS）作为这些模型的细化步骤会带来挑战。我们假设高斯中过多的位置自由度（DoF）会导致几何失真，以牺牲结构保真度为代价来拟合颜色模式。为了解决这个问题，我们提出了一种基于重投影的DoF分离方法，该方法根据不确定性区分位置DoF：图像平面平行的DoF和射线对齐的DoF。为了独立管理每个DoF，我们引入了一个重投影过程以及针对每个DoF的定制约束。通过在各种数据集上的实验，我们证实了分离高斯的位置DoF并应用有针对性的约束可以有效地抑制几何伪影，从而产生视觉和几何上都合理的重建结果。

🔬 方法详解

问题定义：论文旨在解决稀疏视角下3D高斯溅射（3DGS）几何重建中存在的几何失真问题。现有方法直接将3DGS应用于多视角立体（MVS）模型的输出结果进行优化，但由于3DGS具有过多的位置自由度，容易过度拟合颜色信息，导致重建的几何结构不准确，产生伪影。这种现象在稀疏视角下尤为明显，因为缺乏足够的视角信息来约束高斯的位置。

核心思路：论文的核心思路是将3D高斯的位置自由度进行分离，区分图像平面平行方向的自由度和射线对齐方向的自由度，并针对不同方向的自由度施加不同的约束。这种分离的目的是为了更好地控制高斯的位置，避免过度拟合颜色信息，从而提高几何重建的准确性。通过重投影过程，可以估计每个自由度的不确定性，并根据不确定性来调整约束的强度。

技术框架：整体框架包含以下几个主要步骤：1) 使用现有的多视角立体（MVS）模型生成初始的3D高斯表示。2) 对3D高斯的位置自由度进行分离，区分图像平面平行方向和射线对齐方向的自由度。3) 引入重投影过程，将3D高斯投影到各个视角，并计算重投影误差。4) 根据重投影误差，估计每个自由度的不确定性。5) 根据自由度的不确定性，施加不同的约束，优化3D高斯的位置。6) 重复步骤3-5，直到收敛。

关键创新：论文的关键创新在于提出了基于重投影的自由度分离方法。与现有方法直接优化3D高斯的位置不同，该方法首先将位置自由度进行分离，然后针对不同方向的自由度施加不同的约束。这种分离和约束的方式可以更好地控制高斯的位置，避免过度拟合颜色信息，从而提高几何重建的准确性。此外，利用重投影误差来估计自由度的不确定性也是一个重要的创新点。

关键设计：论文的关键设计包括：1) 如何将3D高斯的位置自由度进行分离。具体来说，是将位置的梯度分解为图像平面平行方向和射线对齐方向的分量。2) 如何利用重投影误差来估计自由度的不确定性。具体来说，是使用重投影误差的方差作为不确定性的度量。3) 如何根据自由度的不确定性来调整约束的强度。具体来说，是使用不确定性的倒数作为约束的权重。4) 损失函数的设计，包括重投影误差项和正则化项，用于约束3D高斯的位置和形状。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方法在多个数据集上均取得了显著的性能提升。与直接使用3DGS进行优化相比，该方法能够有效地抑制几何伪影，提高重建的几何精度。定量指标方面，在DTU数据集上，该方法在L1误差和Chamfer Distance等指标上均优于现有方法。定性方面，重建结果在视觉上更加清晰，几何结构更加准确。

🎯 应用场景

该研究成果可应用于三维重建、虚拟现实、增强现实、机器人导航等领域。尤其在稀疏视角下，高质量的三维重建对于这些应用至关重要。该方法能够提升重建的几何精度，从而改善用户体验和系统性能，例如在AR/VR中提供更真实的场景交互，在机器人导航中提供更准确的环境感知。

📄 摘要（原文）

Recent learning-based Multi-View Stereo models have demonstrated state-of-the-art performance in sparse-view 3D reconstruction. However, directly applying 3D Gaussian Splatting (3DGS) as a refinement step following these models presents challenges. We hypothesize that the excessive positional degrees of freedom (DoFs) in Gaussians induce geometry distortion, fitting color patterns at the cost of structural fidelity. To address this, we propose reprojection-based DoF separation, a method distinguishing positional DoFs in terms of uncertainty: image-plane-parallel DoFs and ray-aligned DoF. To independently manage each DoF, we introduce a reprojection process along with tailored constraints for each DoF. Through experiments across various datasets, we confirm that separating the positional DoFs of Gaussians and applying targeted constraints effectively suppresses geometric artifacts, producing reconstruction results that are both visually and geometrically plausible.