Nix and Fix: Targeting 1000x Compression of 3D Gaussian Splatting with Diffusion Models

📄 arXiv: 2602.04549v1 📥 PDF

作者: Cem Eteke, Enzo Tartaglione

分类: cs.CV

发布日期: 2026-02-04

💡 一句话要点

提出NiFi，利用扩散模型实现3D高斯溅射的千倍压缩。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 压缩 扩散模型 伪影修复 单步蒸馏

📋 核心要点

  1. 3DGS虽然实现了实时渲染，但其存储空间需求较高，限制了其在带宽受限场景下的应用。
  2. NiFi利用扩散模型进行伪影感知修复，通过单步蒸馏实现极低码率下的高质量3DGS压缩。
  3. 实验表明，NiFi在极低码率下实现了优于现有方法的感知质量，压缩率提升显著。

📝 摘要（中文）

3D高斯溅射(3DGS)彻底改变了新视角渲染。与隐式表示从密集空间点推断不同，3DGS使用稀疏高斯分布。这实现了实时性能，但也增加了空间需求，阻碍了沉浸式通信等应用。3DGS压缩作为一个领域应运而生，旨在缓解这个问题。虽然已经取得了令人印象深刻的进展，但在低码率下，压缩会引入伪影，从而显著降低视觉质量。我们引入NiFi，这是一种通过基于伪影感知的、基于扩散的单步蒸馏进行恢复的极端3DGS压缩方法。我们表明，我们的方法在极低的码率（低至0.1 MB）下实现了最先进的感知质量，并且在可比的感知性能下，相对于3DGS，码率提高了近1000倍。代码将在接收后开源。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射（3DGS）模型体积过大，难以在带宽受限场景下应用的问题。现有3DGS压缩方法在极低码率下会引入明显的视觉伪影，导致感知质量显著下降。因此，如何在保证感知质量的前提下，实现3DGS模型的高效压缩是本论文要解决的核心问题。

核心思路：论文的核心思路是利用扩散模型强大的生成能力，对压缩后的3DGS模型进行伪影修复，从而在极低码率下恢复出高质量的渲染结果。通过训练一个能够感知压缩伪影的扩散模型，并使用单步蒸馏的方式加速推理过程，从而实现高效且高质量的3DGS压缩。

技术框架：NiFi方法主要包含两个阶段：1) 3DGS模型的压缩阶段，使用现有的压缩算法（具体算法未知）将原始3DGS模型压缩到极低的码率。2) 伪影修复阶段，使用训练好的扩散模型对压缩后的3DGS模型进行修复，恢复其视觉质量。扩散模型以压缩后的3DGS模型为输入，输出修复后的3DGS模型，该模型可以用于高质量的新视角渲染。

关键创新：NiFi的关键创新在于将扩散模型引入到3DGS压缩领域，并利用其强大的生成能力进行伪影修复。与传统的压缩方法不同，NiFi不是直接优化压缩算法，而是通过后处理的方式提升压缩后的模型质量。此外，使用单步蒸馏加速扩散模型的推理过程，使其能够满足实时渲染的需求。

关键设计：论文中关于扩散模型的具体设计细节未知。但可以推测，扩散模型的训练目标是最小化修复后的3DGS模型与原始3DGS模型之间的差异，同时需要考虑感知损失，以保证修复后的模型具有良好的视觉质量。单步蒸馏的具体实现方式也未知，但通常是通过训练一个小的网络来模仿大型扩散模型的输出。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

NiFi方法在极低码率（低至0.1MB）下实现了最先进的感知质量，相较于原始3DGS模型，压缩率提升了近1000倍，同时保持了可比的感知性能。这意味着在相同视觉质量下，NiFi可以显著降低3DGS模型的存储空间和传输带宽需求，为3DGS在资源受限场景下的应用提供了可能。具体的量化指标和对比基线未知，需要参考论文原文。

🎯 应用场景

该研究成果可广泛应用于沉浸式通信、虚拟现实、增强现实等领域。通过对3D场景进行高效压缩，可以降低带宽需求，提升用户体验。例如，在远程会议中，可以使用NiFi对参会者的3D模型进行压缩，从而在有限的带宽下实现高质量的实时互动。此外，该技术还可以应用于游戏开发、数字孪生等领域，为用户提供更加逼真和流畅的3D体验。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) revolutionized novel view rendering. Instead of inferring from dense spatial points, as implicit representations do, 3DGS uses sparse Gaussians. This enables real-time performance but increases space requirements, hindering applications such as immersive communication. 3DGS compression emerged as a field aimed at alleviating this issue. While impressive progress has been made, at low rates, compression introduces artifacts that degrade visual quality significantly. We introduce NiFi, a method for extreme 3DGS compression through restoration via artifact-aware, diffusion-based one-step distillation. We show that our method achieves state-of-the-art perceptual quality at extremely low rates, down to 0.1 MB, and towards 1000x rate improvement over 3DGS at comparable perceptual performance. The code will be open-sourced upon acceptance.