EVPGS: Enhanced View Prior Guidance for Splatting-based Extrapolated View Synthesis

📄 arXiv: 2503.21816v1 📥 PDF

作者: Jiahe Li, Feiyu Wang, Xiaochao Qu, Chengjing Wu, Luoqi Liu, Ting Liu

分类: cs.GR

发布日期: 2025-03-26

备注: Accepted by CVPR2025

💡 一句话要点

EVPGS：增强视角先验引导的基于Splatting的外推视角合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 外推视角合成 高斯Splatting 视角先验 遮挡感知 视角增强

📋 核心要点

  1. 现有基于高斯Splatting的方法依赖于充分的训练视角覆盖，难以处理外推视角合成任务。
  2. EVPGS框架通过粗到精的视角增强，在粗略阶段正则化，精细阶段利用遮挡感知的视角先验引导训练。
  3. 在真实和合成数据集上的实验表明，EVPGS显著提升了基于GS的方法在外推视角下的合成质量，达到SOTA。

📝 摘要（中文）

本文针对更具挑战性和未被充分探索的外推视角合成(EVS)任务，提出了一种增强视角先验引导的Splatting (EVPGS)框架。该框架旨在使基于高斯Splatting (GS)的模型在有限视角覆盖下训练后，能够很好地泛化到外推视角。EVPGS采用由粗到精的视角增强框架来指导训练。在粗略阶段，通过在外观和几何层面引入正则化策略，减少因视角覆盖不足而产生的渲染伪影。在精细阶段，生成可靠的视角先验以提供进一步的训练指导。为此，将遮挡感知融入到视角先验生成过程中，并借助粗略阶段的输出细化视角先验。为了全面评估EVPGS在EVS任务上的性能，收集了一个名为Merchandise3D的真实世界数据集，专门用于EVS场景。在包括真实和合成数据集在内的三个数据集上的实验表明，EVPGS实现了最先进的性能，并在质量和数量上都提高了基于GS的方法在外推视角下的合成质量。代码、数据集和模型将开源。

🔬 方法详解

问题定义：论文旨在解决外推视角合成(EVS)问题，即在有限视角覆盖的训练数据下，如何使基于高斯Splatting (GS)的模型能够很好地泛化到未见过的外推视角。现有方法在视角覆盖不足的情况下，容易产生渲染伪影，导致合成质量下降。

核心思路：论文的核心思路是通过视角增强来引导训练，采用由粗到精的策略。首先，在粗略阶段通过正则化减少渲染伪影；然后，在精细阶段生成可靠的视角先验，并利用粗略阶段的输出进行细化，从而提供更精确的训练指导。

技术框架：EVPGS框架包含两个主要阶段：粗略阶段和精细阶段。在粗略阶段，主要通过外观和几何层面的正则化来减少渲染伪影。在精细阶段，首先生成遮挡感知的视角先验，然后利用粗略阶段的输出对这些先验进行细化，最后将细化后的视角先验作为额外的训练指导。

关键创新：论文的关键创新在于遮挡感知的视角先验生成和利用。传统方法通常忽略遮挡，导致生成的先验不准确。EVPGS通过考虑遮挡关系，生成更可靠的视角先验，从而更有效地指导训练。此外，利用粗略阶段的输出来细化视角先验，进一步提高了先验的准确性。

关键设计：在粗略阶段，论文可能使用了L1损失或L2损失来约束外观，并可能使用正则化项来约束高斯分布的形状和位置，以减少几何伪影。在精细阶段，遮挡感知的视角先验生成可能涉及到深度估计和可见性判断。视角先验的细化可能通过一个小的神经网络来实现，该网络以粗略阶段的输出和初始视角先验作为输入，输出更精确的视角先验。损失函数可能包括渲染损失和视角先验损失，以共同优化模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EVPGS在Merchandise3D、合成数据集等多个数据集上进行了评估，实验结果表明，EVPGS在EVS任务上取得了state-of-the-art的性能。相较于现有方法，EVPGS显著提高了外推视角的合成质量，在定量指标和视觉效果上均有明显提升。具体性能提升数据未知，需参考论文原文。

🎯 应用场景

EVPGS技术可应用于电商产品的3D展示、虚拟现实/增强现实内容生成、自动驾驶场景下的视角合成等领域。通过少量视角的图像，即可生成任意视角的逼真图像，降低了数据采集成本，提升了用户体验，并为自动驾驶系统提供更全面的环境感知。

📄 摘要（原文）

Gaussian Splatting (GS)-based methods rely on sufficient training view coverage and perform synthesis on interpolated views. In this work, we tackle the more challenging and underexplored Extrapolated View Synthesis (EVS) task. Here we enable GS-based models trained with limited view coverage to generalize well to extrapolated views. To achieve our goal, we propose a view augmentation framework to guide training through a coarse-to-fine process. At the coarse stage, we reduce rendering artifacts due to insufficient view coverage by introducing a regularization strategy at both appearance and geometry levels. At the fine stage, we generate reliable view priors to provide further training guidance. To this end, we incorporate an occlusion awareness into the view prior generation process, and refine the view priors with the aid of coarse stage output. We call our framework Enhanced View Prior Guidance for Splatting (EVPGS). To comprehensively evaluate EVPGS on the EVS task, we collect a real-world dataset called Merchandise3D dedicated to the EVS scenario. Experiments on three datasets including both real and synthetic demonstrate EVPGS achieves state-of-the-art performance, while improving synthesis quality at extrapolated views for GS-based methods both qualitatively and quantitatively. We will make our code, dataset, and models public.