PERF: Panoramic Neural Radiance Field from a Single Panorama

📄 arXiv: 2310.16831v2 📥 PDF

作者: Guangcong Wang, Peng Wang, Zhaoxi Chen, Wenping Wang, Chen Change Loy, Ziwei Liu

分类: cs.CV, cs.GR, cs.LG

发布日期: 2023-10-25 (更新: 2023-10-28)

备注: Project Page: https://perf-project.github.io/ , Code: https://github.com/perf-project/PeRF

🔗 代码/项目: GITHUB

💡 一句话要点

提出PERF框架以解决单幅全景图生成3D场景的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全景图生成 神经辐射场 3D重建 图像修复 深度估计 新视图合成

📋 核心要点

  1. 现有方法主要集中在有限视场和少量遮挡的场景，难以扩展到真实的360度全景场景中。
  2. 论文提出了PERF框架，通过协作RGBD修复和渐进式修复与擦除方法，从单幅全景图生成3D场景。
  3. 在Replica和新数据集PERF-in-the-wild上的实验结果显示，PERF在新视图合成任务中优于现有最先进的方法。

📝 摘要（中文）

神经辐射场（NeRF）在多视图图像的新视图合成中取得了显著进展。近期一些研究尝试从单幅图像中训练NeRF，但主要集中在有限视场和少量遮挡的场景，这限制了其在真实360度全景场景中的应用。本文提出了PERF，一个从单幅全景图训练全景神经辐射场的360度新视图合成框架。PERF允许在复杂场景中进行3D漫游，无需昂贵和繁琐的图像收集。为实现这一目标，提出了一种新颖的协作RGBD修复方法和渐进式修复与擦除方法，将360度2D场景提升为3D场景。实验结果表明，PERF在Replica和新数据集PERF-in-the-wild上优于现有方法，具有广泛的实际应用潜力。

🔬 方法详解

问题定义：本文旨在解决从单幅全景图生成3D场景的问题。现有方法在处理大规模遮挡和复杂场景时存在显著不足，限制了其在真实应用中的有效性。

核心思路：论文的核心思路是通过引入协作RGBD修复和渐进式修复与擦除策略，提升2D全景图到3D场景的能力。这种设计使得在不需要大量图像收集的情况下，能够实现复杂场景的3D漫游。

技术框架：整体架构包括三个主要模块：首先，基于单幅全景图预测全景深度图；其次，利用体积渲染重建可见的3D区域；最后，结合RGBD修复方法完成RGB图像和深度图的生成。

关键创新：最重要的技术创新在于将RGB稳定扩散模型与单目深度估计器结合，形成协作RGBD修复方法。这一方法显著提高了图像和深度图的生成质量，克服了现有方法的局限性。

关键设计：在网络结构上，采用了渐进式修复与擦除策略，以避免新采样视图与参考视图之间的几何不一致性。损失函数设计上，强调了RGB和深度图的一致性，确保生成结果的高质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Replica和PERF-in-the-wild数据集上的实验结果显示，PERF在新视图合成任务中相较于最先进的方法提升了显著的性能，具体提升幅度未知，展示了其在复杂场景处理中的优势。

🎯 应用场景

该研究的潜在应用领域包括全景到3D转换、文本到3D生成以及3D场景风格化等。PERF框架能够在无需大量数据的情况下，快速生成高质量的3D场景，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Neural Radiance Field (NeRF) has achieved substantial progress in novel view synthesis given multi-view images. Recently, some works have attempted to train a NeRF from a single image with 3D priors. They mainly focus on a limited field of view with a few occlusions, which greatly limits their scalability to real-world 360-degree panoramic scenarios with large-size occlusions. In this paper, we present PERF, a 360-degree novel view synthesis framework that trains a panoramic neural radiance field from a single panorama. Notably, PERF allows 3D roaming in a complex scene without expensive and tedious image collection. To achieve this goal, we propose a novel collaborative RGBD inpainting method and a progressive inpainting-and-erasing method to lift up a 360-degree 2D scene to a 3D scene. Specifically, we first predict a panoramic depth map as initialization given a single panorama and reconstruct visible 3D regions with volume rendering. Then we introduce a collaborative RGBD inpainting approach into a NeRF for completing RGB images and depth maps from random views, which is derived from an RGB Stable Diffusion model and a monocular depth estimator. Finally, we introduce an inpainting-and-erasing strategy to avoid inconsistent geometry between a newly-sampled view and reference views. The two components are integrated into the learning of NeRFs in a unified optimization framework and achieve promising results. Extensive experiments on Replica and a new dataset PERF-in-the-wild demonstrate the superiority of our PERF over state-of-the-art methods. Our PERF can be widely used for real-world applications, such as panorama-to-3D, text-to-3D, and 3D scene stylization applications. Project page and code are available at https://perf-project.github.io/ and https://github.com/perf-project/PeRF.