ZeroNVS: Zero-Shot 360-Degree View Synthesis from a Single Image
作者: Kyle Sargent, Zizhang Li, Tanmay Shah, Charles Herrmann, Hong-Xing Yu, Yunzhi Zhang, Eric Ryan Chan, Dmitry Lagun, Li Fei-Fei, Deqing Sun, Jiajun Wu
分类: cs.CV, cs.GR
发布日期: 2023-10-27 (更新: 2024-04-24)
备注: Accepted to CVPR 2024. 12 pages
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出ZeroNVS以解决复杂背景下的单图像新视角合成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 新视角合成 扩散模型 3D感知 复杂背景 深度尺度模糊 多物体场景 生成先验 SDS锚定
📋 核心要点
- 现有的新视角合成方法主要针对单一物体，无法有效处理复杂背景和多物体场景。
- 论文提出了ZeroNVS模型，通过训练生成先验和新颖的相机条件参数化来解决深度尺度模糊问题。
- 在DTU数据集上，ZeroNVS在零-shot设置下达到了新的最优性能，超越了以往的基线方法。
📝 摘要（中文）
我们提出了一种3D感知扩散模型ZeroNVS，用于在复杂背景下的单图像新视角合成。现有方法主要针对单一物体且背景简单，而我们的技术能够处理多物体场景。我们在多种数据源上训练生成先验，并提出新颖的相机条件参数化和归一化方案，以解决深度尺度模糊问题。此外，我们引入了“SDS锚定”技术，改善了360度场景合成的多样性。我们的模型在零-shot设置下在DTU数据集上取得了新的最优结果，甚至超越了专门针对DTU训练的方法。
🔬 方法详解
问题定义：本论文旨在解决在复杂背景下进行单图像新视角合成的问题。现有方法多集中于单一物体，难以处理多物体场景带来的挑战，如背景复杂性和深度尺度模糊。
核心思路：我们提出了ZeroNVS模型，通过在多种数据源上训练生成先验，结合新颖的相机条件参数化和归一化方案，来有效应对复杂背景带来的问题。
技术框架：ZeroNVS的整体架构包括数据预处理、生成先验训练、相机条件参数化、以及SDS锚定等模块。每个模块都针对特定问题进行优化，以确保生成视角的多样性和准确性。
关键创新：本研究的主要创新在于引入了“SDS锚定”技术，解决了在360度场景合成中背景分布截断的问题，从而提升了生成视角的多样性。
关键设计：我们在模型中采用了新的相机条件参数化方法，并设计了特定的损失函数，以优化生成效果。此外，网络结构经过精心设计，以适应多物体场景的复杂性。
🖼️ 关键图片
📊 实验亮点
在DTU数据集上，ZeroNVS在零-shot设置下取得了新的最优LPIPS结果，超越了专门针对该数据集训练的现有方法，展示了显著的性能提升。我们的模型在处理复杂背景和多物体场景时表现出色，验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和计算机图形学等。通过实现高质量的新视角合成，ZeroNVS能够为用户提供更为沉浸的体验，推动相关技术的发展和应用。未来，该技术可能在影视制作、游戏开发和在线购物等多个领域发挥重要作用。
📄 摘要（原文）
We introduce a 3D-aware diffusion model, ZeroNVS, for single-image novel view synthesis for in-the-wild scenes. While existing methods are designed for single objects with masked backgrounds, we propose new techniques to address challenges introduced by in-the-wild multi-object scenes with complex backgrounds. Specifically, we train a generative prior on a mixture of data sources that capture object-centric, indoor, and outdoor scenes. To address issues from data mixture such as depth-scale ambiguity, we propose a novel camera conditioning parameterization and normalization scheme. Further, we observe that Score Distillation Sampling (SDS) tends to truncate the distribution of complex backgrounds during distillation of 360-degree scenes, and propose "SDS anchoring" to improve the diversity of synthesized novel views. Our model sets a new state-of-the-art result in LPIPS on the DTU dataset in the zero-shot setting, even outperforming methods specifically trained on DTU. We further adapt the challenging Mip-NeRF 360 dataset as a new benchmark for single-image novel view synthesis, and demonstrate strong performance in this setting. Our code and data are at http://kylesargent.github.io/zeronvs/