Rate-Distortion Adaptive Primitive Selection for Omnidirectional Gaussian Splatting

📄 arXiv: 2609.34367v1 📥 PDF

作者: Yulong Cheng, Youneng Bao, Junfeng Zhou, Mu Li, Jie Wen

分类: cs.CV

发布日期: 2026-09-28

备注: 30 pages, 13 figures, 14 tables

💡 一句话要点

提出OIC-GS以解决全景高效编码与重建质量问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯点云编码 虚拟现实 全景图像 自适应编码 熵模型 分层网格表示 实时渲染

📋 核心要点

  1. 现有的高斯点云编码方法在重建质量和解码速度之间存在权衡，难以满足虚拟现实应用的需求。
  2. 本文提出了一种新型的全景高斯点云编解码器OIC-GS，采用分层HEALPix网格表示，优化了原语的选择与编码过程。
  3. 在100幅全景图像的基准测试中，OIC-GS显著提高了编码效率，减少了BD率，且解码速度达到1270 FPS。

📝 摘要（中文）

学习型图像编解码器（LICs）在重建质量上表现优异，但在沉浸式虚拟现实（VR）中的解码速度往往不足。高斯点云编码（GS）虽然渲染速度更快，但在重建质量上仍有欠缺，且通常在分配原语时未考虑编码成本。本文提出了OIC-GS，一种具有新型分层HEALPix原语网格表示的全景GS编解码器。高斯原语锚定在预定义的球面位置，消除了显式坐标编码，支持自粗到细的重建和分层传输。通过引入轻量级熵模型并在球面率失真目标下优化编解码器，OIC-GS能够在不固定原语预算的情况下自适应原语密度和细节层次。实验表明，OIC-GS在100幅全景图像基准测试中，WS-PSNR BD率比GaussianImage++降低49.6%，比SGI降低68.6%。

🔬 方法详解

问题定义：本文旨在解决现有高斯点云编码在重建质量与解码速度之间的矛盾，尤其是在沉浸式虚拟现实场景中的应用需求。现有方法在原语分配时未考虑编码成本，导致效率低下。

核心思路：OIC-GS通过引入分层HEALPix网格表示，预定义高斯原语的位置，消除了显式坐标编码，支持自粗到细的重建，优化了编码过程。

技术框架：OIC-GS的整体架构包括原语选择、编码、解码三个主要模块。首先，通过轻量级熵模型对量化原语进行编码，然后在解码时根据视口选择相关原语，最后实现高效的重建。

关键创新：OIC-GS的主要创新在于其自适应的原语选择机制，能够在量化不再有利时自动移除原语，从而优化编码效率。这一设计与传统方法的固定原语预算形成鲜明对比。

关键设计：在设计中，采用了轻量级熵模型来处理量化原语，优化了损失函数以适应球面率失真目标，确保了重建质量与编码效率的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OIC-GS在100幅全景图像的基准测试中表现优异，WS-PSNR BD率比GaussianImage++降低49.6%，比SGI降低68.6%。此外，首次视口在解码52%比特流后即可达到最终质量，解码速度高达1270 FPS，显示出其在实时应用中的巨大潜力。

🎯 应用场景

OIC-GS在虚拟现实、增强现实和全景视频等领域具有广泛的应用潜力。其高效的编码与解码能力能够显著提升用户体验，尤其是在需要实时渲染的场景中。此外，该技术的自适应特性为未来的图像编解码器设计提供了新的思路。

📄 摘要（原文）

Learned image codecs (LICs) achieve high reconstruction quality, but their decoding speed is often insufficient for immersive virtual reality (VR). Gaussian splatting (GS) codecs render much faster, yet still lag in reconstruction quality and typically decide primitive allocation without considering the coding cost of each primitive. We introduce OIC-GS, an omnidirectional GS codec with a new hierarchical HEALPix primitive grid representation. Gaussian primitives are anchored at predefined spherical locations, eliminating explicit coordinate coding. Finer levels refine their coarser ancestors, naturally supporting coarse-to-fine reconstruction and layered transmission. The predefined grid also enables efficient viewport decoding by selecting only view-relevant primitives. We further introduce a lightweight entropy model for quantized primitives and optimize the codec under a spherical rate-distortion objective. Primitives with insufficient rate-distortion benefit are automatically removed when their quantized opacity becomes zero, allowing OIC-GS to adapt both primitive density and level of detail without a fixed primitive budget. A single bitstream supports full-sphere, viewport-dependent, and progressive decoding. The first viewport reaches final quality after decoding only 52% of the bitstream, and is then rendered at 1,270 FPS. On a 100-image omnidirectional benchmark, OIC-GS outperforms all evaluated GS codecs, reducing WS-PSNR BD-rate by 49.6% over GaussianImage++ and 68.6% over SGI, which uses a learned entropy model.