GeoVerse: World-Consistent Novel View Synthesis in Geometric Latent Space
作者: Kerui Ren, Tao Lu, Linning Xu, Changjian Jiang, Mu Huang, Chunhua Shen, Mulin Yu, Bo Dai
分类: cs.CV
发布日期: 2026-09-28
备注: Project Page: https://geoverse-nvs.github.io/
💡 一句话要点
提出GeoVerse以解决稀疏图像下的新视图合成问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 新视图合成 几何潜在空间 视频生成模型 世界一致性 结构补全 深度学习 计算机视觉
📋 核心要点
- 现有方法在稀疏图像下的新视图合成中，难以同时实现真实重建与未见区域的合理补全，且存在视角间不一致的问题。
- GeoVerse框架通过在几何潜在空间中生成新视图，并结合视频生成模型的外观先验，来实现世界一致的新视图合成。
- 实验结果显示，GeoVerse在视觉质量和几何一致性上均有显著提升，PSNR提高2.23 dB，ATE降低32.4%。
📝 摘要（中文）
在稀疏图像下进行新视图合成时，必须平衡对观察区域的真实重建与对未见内容的合理补全，同时保持视角间的世界一致性。现有的基于几何的方法虽然能够保留观察场景的结构，但在补全未见区域时常常面临困难，而视频生成模型虽然提供了丰富的外观先验，但在顺序视图生成过程中容易累积不一致性。为此，本文提出了GeoVerse框架，通过在预训练的3D基础模型的几何潜在空间中进行生成，并注入来自视频生成模型的外观先验，从而合成世界一致的新视图。GeoVerse从Wan2.2 VACE中提取多层特征，并通过ControlNet风格的适配器将其注入几何潜在扩散模型，结合视频学习的外观先验以增强结构补全。通过全球空间记忆持续聚合观察和合成内容，重新投影目标对齐的引导，以将后续预测锚定到共享场景表示。大量实验表明，在不同数据集上，视觉质量和几何一致性均有所提升，在DL3DV上PSNR提高了2.23 dB，在Mip-NeRF360上ATE降低了32.4%。
🔬 方法详解
问题定义：本文旨在解决稀疏图像下新视图合成中的世界一致性问题。现有几何方法在补全未见区域时表现不佳，而视频生成模型在生成过程中容易产生不一致性。
核心思路：GeoVerse通过在几何潜在空间中进行生成，并注入视频生成模型的外观先验，来实现新视图的合成。这种设计旨在结合几何结构与外观信息，以提高合成的真实感和一致性。
技术框架：GeoVerse的整体架构包括多个模块：首先从预训练的3D模型中提取多层特征，然后通过ControlNet风格的适配器将这些特征注入几何潜在扩散模型，最后利用全球空间记忆模块聚合观察和合成内容，以确保视角间的一致性。
关键创新：GeoVerse的主要创新在于将几何潜在空间与视频生成模型的外观先验相结合，形成了一种新的合成方法。这一方法在保留几何结构的同时，增强了对未见区域的补全能力。
关键设计：在设计中，GeoVerse采用了多层特征提取和ControlNet风格的适配器，确保信息的有效传递。此外，全球空间记忆模块的引入，使得合成内容能够在多个视角间保持一致性，显著提升了合成效果。
🖼️ 关键图片
📊 实验亮点
GeoVerse在多个数据集上的实验结果显示，其视觉质量和几何一致性均显著提升。在DL3DV数据集上，PSNR提高了2.23 dB，而在Mip-NeRF360数据集上，ATE降低了32.4%。这些结果表明GeoVerse在新视图合成任务中的有效性和优势。
🎯 应用场景
GeoVerse的研究成果在虚拟现实、增强现实和计算机图形学等领域具有广泛的应用潜力。通过实现高质量的新视图合成，该技术可以用于创建更加真实的虚拟环境，提升用户体验。此外，GeoVerse还可应用于自动驾驶、机器人导航等需要高精度场景重建的领域，具有重要的实际价值和未来影响。
📄 摘要（原文）
Novel view synthesis from sparse images must reconcile faithful reconstruction of observed regions with plausible completion of unseen content, while maintaining world consistency across viewpoints. Existing geometry-based methods preserve observed scene structure but often struggle to complete unseen regions, whereas video generative models offer rich appearance priors but accumulate inconsistencies during sequential view generation. We propose GeoVerse, a framework that synthesizes world-consistent novel views by performing generation within the geometric latent space of a pretrained 3D foundation model and injecting appearance priors from a video generative model. Specifically, GeoVerse extracts multilevel features from Wan2.2 VACE and injects them into the geometric latent diffusion model via a ControlNet-style adapter, incorporating video-learned appearance priors to enhance structural completion. To enforce cross-view coherence, a global spatial memory continuously aggregates observed and synthesized content, reprojecting target-aligned guidance to anchor subsequent predictions to a shared scene representation. Extensive experiments across diverse datasets demonstrate improved visual quality and geometric consistency, with a 2.23 dB higher PSNR on DL3DV and 32.4% lower ATE on Mip-NeRF360 compared to GLD.