CoMapGS: Covisibility Map-based Gaussian Splatting for Sparse Novel View Synthesis

📄 arXiv: 2503.20998v1 📥 PDF

作者: Youngkyoon Jang, Eduardo Pérez-Pellitero

分类: cs.GR, cs.CV

发布日期: 2025-03-25

备注: Accepted to CVPR 2025, Mistakenly submitted as a replacement for arXiv:2402.11057

💡 一句话要点

CoMapGS：基于共视地图的高斯溅射，解决稀疏视角下的新视角合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 高斯溅射 共视地图 稀疏重建 三维重建

📋 核心要点

  1. 现有新视角合成方法在稀疏视角下表现不佳，尤其是在缺乏足够观测的区域，导致重建质量下降。
  2. CoMapGS利用共视地图识别不确定性区域，增强初始点云，并采用不确定性感知的加权监督，提升重建效果。
  3. 实验表明，CoMapGS在多个数据集上超越了现有方法，尤其在稀疏视角下，显著提高了新视角合成的质量。

📝 摘要（中文）

本文提出了一种基于共视地图的高斯溅射方法（CoMapGS），旨在恢复稀疏新视角合成中欠表示的稀疏区域。CoMapGS通过构建共视地图来解决高不确定性和低不确定性区域的问题，增强初始点云，并应用基于邻近分类器的不确定性感知加权监督。本文的贡献有三方面：（1）CoMapGS通过利用共视地图作为核心组件来解决特定区域的不确定性，从而重构了新视角合成；（2）增强了低不确定性和高不确定性区域的初始点云，补偿了稀疏的COLMAP派生点云，提高了重建质量，并使few-shot 3DGS方法受益；（3）基于共视得分加权和邻近分类的自适应监督，在具有不同稀疏得分的场景中实现了持续的性能提升。实验结果表明，CoMapGS在Mip-NeRF 360和LLFF等数据集上优于最先进的方法。

🔬 方法详解

问题定义：论文旨在解决稀疏视角下新视角合成中，由于观测数据不足导致的重建质量下降问题。现有方法在处理稀疏数据时，难以准确恢复场景几何和纹理信息，尤其是在缺乏足够视点覆盖的区域，容易出现伪影和模糊。

核心思路：论文的核心思路是利用共视地图（Covisibility Map）来识别场景中不确定性较高的区域，并针对这些区域进行重点优化。通过增强初始点云和采用不确定性感知的加权监督，提高这些区域的重建质量。

技术框架：CoMapGS的整体框架包括以下几个主要阶段：1) 共视地图构建：利用输入图像计算共视关系，生成共视地图，用于评估场景中不同区域的不确定性。2) 初始点云增强：根据共视地图，对COLMAP生成的初始点云进行增强，在高不确定性和低不确定性区域分别采用不同的策略。3) 高斯溅射优化：使用增强后的点云初始化高斯溅射模型，并采用不确定性感知的加权监督进行优化。4) 邻近分类器：使用邻近分类器来进一步提升重建效果。

关键创新：论文的关键创新在于将共视地图引入到高斯溅射的新视角合成框架中，并利用共视信息指导点云增强和监督学习。这种方法能够有效地识别和处理稀疏视角下重建的不确定性区域，从而提高整体重建质量。与现有方法相比，CoMapGS能够更好地利用有限的观测数据，生成更准确、更逼真的新视角图像。

关键设计：CoMapGS的关键设计包括：1) 共视得分加权：根据共视地图计算每个区域的共视得分，并将其作为损失函数的权重，对不确定性较高的区域进行更强的监督。2) 邻近分类器：训练一个邻近分类器，用于判断像素是否属于重建区域，并利用分类结果进一步优化高斯溅射模型。3) 点云增强策略：针对高不确定性和低不确定性区域，采用不同的点云增强策略，以更好地补偿稀疏的初始点云。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoMapGS在Mip-NeRF 360和LLFF数据集上取得了显著的性能提升。例如，在Mip-NeRF 360数据集上，CoMapGS相比于现有最佳方法，在PSNR指标上提升了超过1dB。实验结果表明，CoMapGS能够有效地处理稀疏视角下的新视角合成问题，并生成高质量的重建结果。

🎯 应用场景

CoMapGS在三维重建、虚拟现实、增强现实、自动驾驶等领域具有广泛的应用前景。它可以用于从少量图像中生成高质量的三维模型，从而降低数据采集成本，提高重建效率。在虚拟现实和增强现实应用中，CoMapGS可以提供更逼真的沉浸式体验。在自动驾驶领域，它可以用于构建精确的场景地图，提高车辆的感知能力。

📄 摘要（原文）

We propose Covisibility Map-based Gaussian Splatting (CoMapGS), designed to recover underrepresented sparse regions in sparse novel view synthesis. CoMapGS addresses both high- and low-uncertainty regions by constructing covisibility maps, enhancing initial point clouds, and applying uncertainty-aware weighted supervision using a proximity classifier. Our contributions are threefold: (1) CoMapGS reframes novel view synthesis by leveraging covisibility maps as a core component to address region-specific uncertainty; (2) Enhanced initial point clouds for both low- and high-uncertainty regions compensate for sparse COLMAP-derived point clouds, improving reconstruction quality and benefiting few-shot 3DGS methods; (3) Adaptive supervision with covisibility-score-based weighting and proximity classification achieves consistent performance gains across scenes with varying sparsity scores derived from covisibility maps. Experimental results demonstrate that CoMapGS outperforms state-of-the-art methods on datasets including Mip-NeRF 360 and LLFF.