HyRF: Hybrid Radiance Fields for Memory-efficient and High-quality Novel View Synthesis

📄 arXiv: 2509.17083v2 📥 PDF

作者: Zipeng Wang, Dan Xu

分类: cs.CV

发布日期: 2025-09-21 (更新: 2025-09-23)

备注: Accepted at NeurIPS 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HyRF，结合显式高斯和神经场，实现内存高效、高质量的新视角合成。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 新视角合成 混合辐射场 3D高斯溅射 神经场 内存优化

📋 核心要点

  1. 3DGS虽然能实时高质量地进行新视角合成，但其对每个高斯参数的依赖导致了巨大的内存开销。
  2. HyRF的核心思想是将场景分解为显式高斯（存储高频参数）和神经场（预测剩余属性），从而降低内存占用。
  3. 实验结果表明，HyRF在保持实时性能的同时，渲染质量达到SOTA，模型大小比3DGS减少了20倍以上。

📝 摘要（中文）

本文提出了一种名为混合辐射场（HyRF）的新型场景表示方法，旨在解决3D高斯溅射（3DGS）中由于对每个高斯参数建模视角相关效应和各向异性形状而导致的显著内存开销问题。HyRF结合了显式高斯和神经场的优势，将场景分解为：（1）仅存储关键高频参数的紧凑显式高斯集合；（2）预测剩余属性的基于网格的神经场。为了增强表示能力，引入了解耦神经场架构，分别建模几何形状（尺度、不透明度、旋转）和视角相关的颜色。此外，提出了一种混合渲染方案，将高斯溅射与神经场预测的背景合成，解决了远距离场景表示的局限性。实验表明，HyRF在实现最先进渲染质量的同时，与3DGS相比，模型尺寸减少了20倍以上，并保持了实时性能。

🔬 方法详解

问题定义：3D高斯溅射（3DGS）虽然在高质量新视角合成方面表现出色，但由于需要为每个高斯存储大量参数以建模视角相关效应和各向异性形状，因此存在显著的内存开销。这限制了其在资源受限设备上的应用，也增加了大规模场景重建的难度。现有方法试图压缩3DGS，但难以捕捉高斯属性中的高频空间变化，导致细节重建质量下降。

核心思路：HyRF的核心思路是将场景表示分解为两个部分：显式高斯和神经场。显式高斯负责存储场景中关键的高频信息，例如位置和尺度，而神经场则负责预测剩余的属性，例如视角相关的颜色和不透明度。通过这种方式，HyRF可以减少每个高斯需要存储的参数数量，从而降低内存占用。同时，神经场可以有效地建模复杂的视角相关效应，从而保持高质量的渲染效果。

技术框架：HyRF的整体框架包括以下几个主要模块：1) 显式高斯表示：使用一组显式高斯来表示场景的几何结构。每个高斯包含位置、尺度、旋转和颜色等属性。2) 解耦神经场：使用一个解耦的神经场来预测高斯的剩余属性。该神经场分别建模几何形状（尺度、不透明度、旋转）和视角相关的颜色。3) 混合渲染：将高斯溅射和神经场预测的背景合成，以解决远距离场景表示的局限性。渲染过程首先使用高斯溅射渲染场景的前景，然后使用神经场渲染背景，最后将两者合成。

关键创新：HyRF的关键创新在于混合表示和解耦神经场。混合表示结合了显式高斯和神经场的优点，既能有效地表示场景的几何结构，又能降低内存占用。解耦神经场分别建模几何形状和视角相关的颜色，可以更好地捕捉场景的复杂变化。与现有方法相比，HyRF能够更好地平衡渲染质量和内存占用。

关键设计：HyRF的关键设计包括：1) 使用紧凑的显式高斯集合，仅存储关键的高频参数。2) 设计解耦的神经场架构，分别建模几何形状和视角相关的颜色。几何形状神经场预测尺度、不透明度和旋转，颜色神经场预测视角相关的颜色。3) 提出混合渲染方案，将高斯溅射与神经场预测的背景合成。损失函数包括渲染损失和正则化损失。渲染损失用于优化高斯和神经场的参数，正则化损失用于防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HyRF在多个数据集上实现了最先进的渲染质量，同时显著降低了内存占用。例如，在某些场景下，HyRF的模型大小比3DGS减少了20倍以上，并且保持了实时渲染性能。此外，HyRF在细节重建方面也优于其他基于神经场的压缩方法。

🎯 应用场景

HyRF具有广泛的应用前景，包括虚拟现实、增强现实、游戏开发和机器人导航等领域。其内存效率和高质量渲染能力使其特别适用于移动设备和大规模场景。未来，HyRF可以进一步扩展到动态场景重建和编辑，为用户提供更逼真的沉浸式体验。

📄 摘要（原文）

Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful alternative to NeRF-based approaches, enabling real-time, high-quality novel view synthesis through explicit, optimizable 3D Gaussians. However, 3DGS suffers from significant memory overhead due to its reliance on per-Gaussian parameters to model view-dependent effects and anisotropic shapes. While recent works propose compressing 3DGS with neural fields, these methods struggle to capture high-frequency spatial variations in Gaussian properties, leading to degraded reconstruction of fine details. We present Hybrid Radiance Fields (HyRF), a novel scene representation that combines the strengths of explicit Gaussians and neural fields. HyRF decomposes the scene into (1) a compact set of explicit Gaussians storing only critical high-frequency parameters and (2) grid-based neural fields that predict remaining properties. To enhance representational capacity, we introduce a decoupled neural field architecture, separately modeling geometry (scale, opacity, rotation) and view-dependent color. Additionally, we propose a hybrid rendering scheme that composites Gaussian splatting with a neural field-predicted background, addressing limitations in distant scene representation. Experiments demonstrate that HyRF achieves state-of-the-art rendering quality while reducing model size by over 20 times compared to 3DGS and maintaining real-time performance. Our project page is available at https://wzpscott.github.io/hyrf/.