CAwa-NeRF: Instant Learning of Compression-Aware NeRF Features

📄 arXiv: 2310.14695v1 📥 PDF

作者: Omnia Mahmoud, Théo Ladune, Matthieu Gendrin

分类: cs.CV

发布日期: 2023-10-23

备注: 10 pages, 9 figures

💡 一句话要点

提出CAwa-NeRF以解决NeRF特征压缩问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 特征压缩 3D建模 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在提高NeRF性能的同时，导致存储需求显著增加，成为应用的瓶颈。
  2. CAwa-NeRF通过引入压缩感知特征学习，允许在训练后导出压缩特征网格，解决了存储问题。
  3. 实验结果表明，CAwa-NeRF在多种静态场景中表现出色，特征网格压缩至原始大小的6%且保持高PSNR值。

📝 摘要（中文）

通过体积特征网格建模3D场景是神经近似改进神经辐射场（NeRF）的有前景方向。Instant-NGP引入了多分辨率哈希编码，虽然提高了神经图形原语的学习速度，但也增加了存储需求。本文提出了CAwa-NeRF，允许在模型训练结束时以极小的额外时间开销导出压缩的特征网格，且不改变原有存储架构或参数。该方法不仅适用于INGP，还可适应其他模型。通过大量模拟，CAwa-NeRF在不同静态场景上取得了显著效果，特别是在单对象遮罩背景场景中，特征网格压缩至原始大小的6%或更低，且PSNR保持在33 dB以上。

🔬 方法详解

问题定义：本文旨在解决现有NeRF方法在提高性能时导致的存储需求增加的问题，尤其是在使用多分辨率哈希编码的情况下，存储成本显著上升。

核心思路：CAwa-NeRF的核心思路是实现压缩感知特征的即时学习，允许在模型训练结束时导出压缩的特征网格，从而在不改变存储架构或参数的情况下，降低存储需求。

技术框架：该方法的整体架构包括特征网格的训练、压缩过程和导出阶段。特征网格在训练过程中不断优化，训练完成后进行压缩并导出。

关键创新：CAwa-NeRF的主要创新在于其压缩特征网格的能力，能够在保持高质量输出的同时显著减少存储空间，与现有方法相比，提供了更高的存储效率。

关键设计：在设计中，CAwa-NeRF保持了与INGP相同的参数设置和网络结构，采用了高效的压缩算法，以确保在压缩过程中尽量减少信息损失。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CAwa-NeRF在单对象遮罩背景场景中，特征网格压缩至原始大小的6%（1.2 MB），且PSNR保持在33 dB以上，或压缩至2.4%（0.53 MB）时，PSNR略降至32.31 dB，展示了其优越的压缩性能和高质量输出。

🎯 应用场景

CAwa-NeRF的研究成果在3D场景建模、虚拟现实和增强现实等领域具有广泛的应用潜力。通过降低存储需求，该方法可以使得高质量的3D内容生成更加高效，推动相关技术的普及和应用。

📄 摘要（原文）

Modeling 3D scenes by volumetric feature grids is one of the promising directions of neural approximations to improve Neural Radiance Fields (NeRF). Instant-NGP (INGP) introduced multi-resolution hash encoding from a lookup table of trainable feature grids which enabled learning high-quality neural graphics primitives in a matter of seconds. However, this improvement came at the cost of higher storage size. In this paper, we address this challenge by introducing instant learning of compression-aware NeRF features (CAwa-NeRF), that allows exporting the zip compressed feature grids at the end of the model training with a negligible extra time overhead without changing neither the storage architecture nor the parameters used in the original INGP paper. Nonetheless, the proposed method is not limited to INGP but could also be adapted to any model. By means of extensive simulations, our proposed instant learning pipeline can achieve impressive results on different kinds of static scenes such as single object masked background scenes and real-life scenes captured in our studio. In particular, for single object masked background scenes CAwa-NeRF compresses the feature grids down to 6% (1.2 MB) of the original size without any loss in the PSNR (33 dB) or down to 2.4% (0.53 MB) with a slight virtual loss (32.31 dB).