SpNeRF: Memory Efficient Sparse Volumetric Neural Rendering Accelerator for Edge Devices

📄 arXiv: 2505.08191v1 📥 PDF

作者: Yipu Zhang, Jiawei Liang, Jian Peng, Jiang Xu, Wei Zhang

分类: cs.AR, cs.CV

发布日期: 2025-05-13

备注: Accepted by DATE 2025

💡 一句话要点

提出SpNeRF以解决边缘设备上稀疏体积神经渲染的内存效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经渲染 边缘计算 稀疏体素网格 内存优化 哈希映射 位图掩码 实时处理 增强现实

📋 核心要点

  1. 现有神经渲染方法在边缘设备上面临大体素网格数据和不规则访问模式导致的实时处理挑战。
  2. 本文提出SpNeRF，通过软件硬件协同设计，利用哈希映射和位图掩码技术优化稀疏体素网格的内存使用和处理效率。
  3. 实验结果表明，SpNeRF在内存大小上平均减少21.07倍，并在多个基准测试中实现显著的速度和能效提升。

📝 摘要（中文）

神经渲染因其高质量输出在增强现实和虚拟现实应用中备受关注。然而，其大体素网格数据大小和不规则访问模式对边缘设备的实时处理构成挑战。尽管以往研究关注数据局部性，但未能充分解决大体素网格尺寸的问题。本文提出SpNeRF，一个针对稀疏体积神经渲染的软件硬件协同设计方案，首先识别内存受限渲染的低效性，并分析神经渲染中体素网格数据的内在稀疏性。通过新颖的预处理和在线解码步骤，减少体素网格的内存大小，最终实现了内存大小平均减少21.07倍，同时保持了可比的PSNR水平。

🔬 方法详解

问题定义：本文旨在解决边缘设备上神经渲染的内存效率问题，现有方法因大体素网格数据和频繁的外部内存访问而导致性能瓶颈。

核心思路：提出SpNeRF，通过识别内存受限渲染的低效性，利用稀疏性和哈希映射技术来优化内存使用，减少对外部内存的依赖。

技术框架：整体架构包括预处理和在线解码两个主要模块。预处理阶段通过哈希映射支持不规则数据访问，在线解码阶段则通过位图掩码技术处理稀疏体素网格。

关键创新：最重要的创新在于结合了哈希映射和位图掩码技术，显著降低了内存需求并提高了处理效率，与传统方法相比，减少了内存访问次数和延迟。

关键设计：在预处理阶段，采用哈希映射来支持稀疏数据的高效访问；在线解码阶段引入位图掩码以减少哈希碰撞导致的PSNR损失，确保渲染质量。

📊 实验亮点

实验结果显示，SpNeRF在内存大小上平均减少21.07倍，同时在与Jetson XNX、Jetson ONX、RT-NeRF.Edge和NeuRex.Edge的对比中，分别实现了95.1倍、63.5倍、1.5倍和10.3倍的速度提升，以及625.6倍、529.1倍、4倍和4.4倍的能效提升。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在增强现实和虚拟现实等需要高质量渲染的边缘设备上。通过提高内存效率和处理速度，SpNeRF能够支持更复杂的场景渲染，推动相关技术的实际应用和发展。

📄 摘要（原文）

Neural rendering has gained prominence for its high-quality output, which is crucial for AR/VR applications. However, its large voxel grid data size and irregular access patterns challenge real-time processing on edge devices. While previous works have focused on improving data locality, they have not adequately addressed the issue of large voxel grid sizes, which necessitate frequent off-chip memory access and substantial on-chip memory. This paper introduces SpNeRF, a software-hardware co-design solution tailored for sparse volumetric neural rendering. We first identify memory-bound rendering inefficiencies and analyze the inherent sparsity in the voxel grid data of neural rendering. To enhance efficiency, we propose novel preprocessing and online decoding steps, reducing the memory size for voxel grid. The preprocessing step employs hash mapping to support irregular data access while maintaining a minimal memory size. The online decoding step enables efficient on-chip sparse voxel grid processing, incorporating bitmap masking to mitigate PSNR loss caused by hash collisions. To further optimize performance, we design a dedicated hardware architecture supporting our sparse voxel grid processing technique. Experimental results demonstrate that SpNeRF achieves an average 21.07$\times$ reduction in memory size while maintaining comparable PSNR levels. When benchmarked against Jetson XNX, Jetson ONX, RT-NeRF.Edge and NeuRex.Edge, our design achieves speedups of 95.1$\times$, 63.5$\times$, 1.5$\times$ and 10.3$\times$, and improves energy efficiency by 625.6$\times$, 529.1$\times$, 4$\times$, and 4.4$\times$, respectively.