City-on-Web: Real-time Neural Rendering of Large-scale Scenes on the Web

📄 arXiv: 2312.16457v2 📥 PDF

作者: Kaiwen Song, Xiaoyi Zeng, Chenqu Ren, Juyong Zhang

分类: cs.CV, cs.GR

发布日期: 2023-12-27 (更新: 2024-04-01)

备注: Project page: https://ustc3dv.github.io/City-on-Web/

💡 一句话要点

City-on-Web：首个Web端大规模场景实时神经渲染方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经渲染 大规模场景 实时渲染 Web平台 体渲染 细节层次 动态加载

📋 核心要点

  1. 现有神经辐射场方法难以在Web端实时渲染大规模场景，主要受限于计算资源、内存和带宽。
  2. City-on-Web采用基于块的体渲染，保证3D一致性和遮挡关系，并结合LOD和动态资源管理降低内存需求。
  3. 实验表明，该系统在Web端RTX 3060 GPU上能以约32FPS渲染大规模场景，渲染质量媲美SOTA方法。

📝 摘要（中文）

现有的基于神经辐射场的方法可以在Web平台上实现小型场景的实时渲染。然而，由于计算、内存和带宽资源的限制，将这些方法扩展到大规模场景仍然面临着巨大的挑战。本文提出了City-on-Web，这是第一个用于在Web上实时渲染大规模场景的方法。我们提出了一种基于块的体渲染方法，以保证块之间的3D一致性和正确的遮挡关系，并引入了一种结合资源动态加载/卸载的细节层次策略，以显著降低内存需求。我们的系统在Web上使用RTX 3060 GPU以大约32FPS的速度实现了大规模场景的实时渲染，并保持了与当前最先进的新视角合成方法相当的渲染质量。

🔬 方法详解

问题定义：论文旨在解决大规模场景在Web端实时神经渲染的问题。现有方法在处理大规模场景时，面临着计算量大、内存占用高以及带宽需求高等挑战，难以在资源受限的Web环境中实现实时渲染。现有方法难以保证渲染质量和实时性之间的平衡。

核心思路：论文的核心思路是将大规模场景分割成多个块，并采用基于块的体渲染方法，以保证块之间的3D一致性和正确的遮挡关系。同时，引入细节层次（Level-of-Detail, LOD）策略，结合动态加载/卸载资源，从而显著降低内存需求，提高渲染效率。

技术框架：City-on-Web系统的整体框架主要包含以下几个阶段：1) 场景预处理：将大规模场景分割成多个块，并为每个块生成不同LOD级别的表示。2) 动态加载/卸载：根据相机视角和距离，动态加载/卸载可见块的资源。3) 基于块的体渲染：对加载的块进行体渲染，并保证块之间的3D一致性和遮挡关系。4) Web端渲染：将渲染结果在Web端进行展示。

关键创新：该论文的关键创新在于提出了一个完整的、可行的Web端大规模场景实时神经渲染解决方案。具体包括：1) 基于块的体渲染方法，保证了大规模场景的渲染质量和一致性。2) 结合动态加载/卸载的LOD策略，显著降低了内存需求，使得在资源受限的Web环境中实现实时渲染成为可能。3) 针对Web平台的优化，提升了渲染效率。

关键设计：论文中关键的设计包括：1) 块的大小和LOD级别的选择，需要在渲染质量、内存占用和加载速度之间进行权衡。2) 动态加载/卸载策略，需要根据相机视角和距离，以及块的重要性，进行合理的资源管理。3) 体渲染过程中的采样策略和光照模型，需要保证渲染质量和效率。

📊 实验亮点

City-on-Web系统在Web端使用RTX 3060 GPU以大约32FPS的速度实现了大规模场景的实时渲染，并且渲染质量与当前最先进的新视角合成方法相当。该系统显著降低了内存需求，使得在Web端实时渲染大规模场景成为可能。实验结果表明，该方法在渲染质量和实时性之间取得了良好的平衡。

🎯 应用场景

City-on-Web技术可广泛应用于在线地图、虚拟旅游、智慧城市、远程教育、游戏开发等领域。用户可以通过Web浏览器实时浏览和探索大规模的城市或场景，无需安装任何客户端软件。该技术可以提升用户体验，降低开发成本，并为相关产业带来新的发展机遇。

📄 摘要（原文）

Existing neural radiance field-based methods can achieve real-time rendering of small scenes on the web platform. However, extending these methods to large-scale scenes still poses significant challenges due to limited resources in computation, memory, and bandwidth. In this paper, we propose City-on-Web, the first method for real-time rendering of large-scale scenes on the web. We propose a block-based volume rendering method to guarantee 3D consistency and correct occlusion between blocks, and introduce a Level-of-Detail strategy combined with dynamic loading/unloading of resources to significantly reduce memory demands. Our system achieves real-time rendering of large-scale scenes at approximately 32FPS with RTX 3060 GPU on the web and maintains rendering quality comparable to the current state-of-the-art novel view synthesis methods.