TeTriRF: Temporal Tri-Plane Radiance Fields for Efficient Free-Viewpoint Video

📄 arXiv: 2312.06713v1 📥 PDF

作者: Minye Wu, Zehao Wang, Georgios Kouros, Tinne Tuytelaars

分类: cs.CV

发布日期: 2023-12-10

备注: 13 pages, 11 figures

💡 一句话要点

提出TeTriRF，通过时序三平面辐射场实现高效自由视点视频压缩与渲染

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 自由视点视频 三平面表示 体素网格 时序一致性 视频压缩 混合表示

📋 核心要点

  1. NeRF自由视点视频技术面临存储需求高和计算复杂度高的挑战，限制了其广泛应用。
  2. TeTriRF采用三平面和体素网格的混合表示，并设计组训练方案，实现高效且时间一致的场景表示。
  3. 实验表明，TeTriRF在保持竞争力的渲染质量的同时，显著降低了存储需求，压缩率优于现有技术。

📝 摘要（中文）

神经辐射场(NeRF)通过提供逼真的自由视点视频(FVV)体验，彻底改变了视觉媒体领域，为观众提供了前所未有的沉浸感和互动性。然而，该技术的大量存储需求以及生成和渲染所涉及的计算复杂性目前限制了其更广泛的应用。为了弥合这一差距，本文提出了一种新的技术——时序三平面辐射场(TeTriRF)，该技术显著减少了自由视点视频(FVV)的存储大小，同时保持了低成本的生成和渲染。TeTriRF引入了一种混合表示，包含三平面和体素网格，以支持扩展到长时间序列以及具有复杂运动或快速变化的场景。我们提出了一种定制的组训练方案，以实现高训练效率，并产生时间一致、低熵的场景表示。利用这些表示的特性，我们引入了一个使用现成视频编解码器的压缩流程，与最先进的技术相比，存储大小减少了一个数量级。我们的实验表明，TeTriRF可以以更高的压缩率实现具有竞争力的质量。

🔬 方法详解

问题定义：现有NeRF方法在自由视点视频应用中，面临着存储空间需求巨大和渲染计算复杂度高的双重挑战。尤其是在处理长时间序列和复杂动态场景时，这些问题更加突出，严重限制了NeRF技术的实际应用。

核心思路：TeTriRF的核心思路是利用三平面和体素网格的混合表示，结合时序信息，构建一个高效且可压缩的场景表示。通过这种混合表示，可以有效地捕捉场景的几何结构和外观信息，同时降低存储需求。此外，针对时序一致性问题，设计了专门的组训练方案。

技术框架：TeTriRF的整体框架包含以下几个主要模块：1) 混合表示模块：使用三平面和体素网格来表示场景的几何和外观信息。2) 组训练模块：设计了一种针对时序一致性的训练策略，将视频序列分成多个组进行训练。3) 渲染模块：基于学习到的场景表示，渲染出任意视角的图像。4) 压缩模块：利用现成的视频编解码器对场景表示进行压缩，进一步降低存储需求。

关键创新：TeTriRF的关键创新在于以下几个方面：1) 混合表示：结合了三平面和体素网格的优点，实现了高效的场景表示。2) 组训练方案：针对时序一致性问题，设计了一种有效的训练策略。3) 压缩流水线：利用现成的视频编解码器，实现了高压缩率。

关键设计：在混合表示中，三平面用于捕捉场景的全局结构，体素网格用于捕捉场景的细节信息。组训练方案中，将视频序列分成多个组，每个组包含若干帧，组内的帧之间共享参数，以保证时序一致性。损失函数包括渲染损失和正则化损失，其中渲染损失用于保证渲染质量，正则化损失用于约束场景表示的熵，从而提高压缩率。具体网络结构未知。

📊 实验亮点

TeTriRF在压缩率方面取得了显著的提升，与现有最先进的方法相比，存储大小减少了一个数量级。实验结果表明，TeTriRF在保持竞争力的渲染质量的同时，实现了更高的压缩率。具体的量化指标未知，但论文强调了数量级的提升。

🎯 应用场景

TeTriRF技术在自由视点视频、虚拟现实、增强现实、游戏等领域具有广泛的应用前景。它可以用于创建更加逼真、沉浸式的虚拟体验，并降低存储和传输成本。例如，在VR/AR应用中，用户可以自由地在虚拟场景中漫游，并从任意视角观看场景。在游戏领域，可以用于创建更加逼真的游戏场景和角色。

📄 摘要（原文）

Neural Radiance Fields (NeRF) revolutionize the realm of visual media by providing photorealistic Free-Viewpoint Video (FVV) experiences, offering viewers unparalleled immersion and interactivity. However, the technology's significant storage requirements and the computational complexity involved in generation and rendering currently limit its broader application. To close this gap, this paper presents Temporal Tri-Plane Radiance Fields (TeTriRF), a novel technology that significantly reduces the storage size for Free-Viewpoint Video (FVV) while maintaining low-cost generation and rendering. TeTriRF introduces a hybrid representation with tri-planes and voxel grids to support scaling up to long-duration sequences and scenes with complex motions or rapid changes. We propose a group training scheme tailored to achieving high training efficiency and yielding temporally consistent, low-entropy scene representations. Leveraging these properties of the representations, we introduce a compression pipeline with off-the-shelf video codecs, achieving an order of magnitude less storage size compared to the state-of-the-art. Our experiments demonstrate that TeTriRF can achieve competitive quality with a higher compression rate.