Packet-Loss Robust 3D Gaussian Compression via Atomic Packaging and GNN-based Error Concealment

📄 arXiv: 2607.17916v1 📥 PDF

作者: Yuxuan Tao, Xuerui Ma, Hao Zhang, Chunhua Peng

分类: cs.GR, cs.CV, cs.MM

发布日期: 2026-07-20

备注: 21 pages, 3 figures, 3 tables

💡 一句话要点

提出一种抗丢包的3D高斯压缩框架以解决网络流传输问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯压缩 抗丢包 图神经网络 错误隐蔽 实时渲染 属性修复 网络传输 神经渲染

📋 核心要点

  1. 现有的3D高斯压缩方法在网络传输中对丢包表现脆弱，导致渲染质量下降。
  2. 提出的框架通过锚点级原子打包和分层随机分组来增强传输的鲁棒性，并采用图神经网络进行错误修复。
  3. 在BungeeNeRF、Mip-NeRF 360和Tanks and Temples数据集上，所提方法在20%丢包情况下PSNR降幅仅为3 dB，表现优异。

📝 摘要（中文）

3D高斯点云渲染和最新的压缩方案如HAC++能够实现高保真实时神经渲染，但在网络流传输中，其比特流在丢包情况下表现脆弱。现有压缩方法往往将相关的锚点属性分离成独立流，导致丢失一个数据包时可能出现属性不一致的锚点和严重的渲染伪影。本文提出了一种抗丢包的3DGS传输和错误隐蔽框架。在编码器端，锚点级原子打包将每个锚点的所有属性共同封装，转化损坏的属性失败为干净的缺失锚点擦除。分层随机分组进一步分散空间域中的丢包，以避免大面积的空白。在解码器端，我们将恢复过程形式化为基于先验的属性修复。实验结果表明，在20%的随机丢包情况下，所提方法显著优于无隐蔽传输，平均PSNR降幅约为3 dB，相较于无损HAC++参考。

🔬 方法详解

问题定义：本文旨在解决在网络流传输中，3D高斯压缩比特流因丢包而导致的渲染质量下降问题。现有方法将相关属性分离，导致丢失一个数据包时出现属性不一致的情况，造成严重的渲染伪影。

核心思路：提出的框架通过锚点级原子打包将所有属性共同封装，避免了单一属性丢失带来的问题。同时，采用分层随机分组策略分散丢包风险，减少大面积空白的出现。解码时，通过基于先验的属性修复来恢复丢失信息。

技术框架：整体架构分为编码器和解码器两个部分。编码器通过原子打包和随机分组处理数据，解码器则利用上下文感知残差插值和图神经网络进行高频属性的修复。

关键创新：最重要的创新在于将所有属性共同封装为原子包，避免了属性不一致的问题。此外，使用图神经网络进行高频属性的细化修复，提升了恢复的准确性。

关键设计：在设计中，采用了上下文感知残差插值（CARI）分支，结合哈希网格先验预测和邻近残差进行基线构建。同时，轻量级的两层图神经网络通过交叉注意力机制对高频属性残差进行细化，确保在预测不可靠时能够回退到插值方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在20%的随机丢包情况下，所提方法在BungeeNeRF、Mip-NeRF 360和Tanks and Temples数据集上表现出色，相较于无隐蔽传输，平均PSNR降幅仅为3 dB，显著提升了渲染质量。

🎯 应用场景

该研究的潜在应用领域包括实时3D渲染、虚拟现实和增强现实等场景，能够显著提升在不稳定网络环境下的渲染质量。未来，随着网络技术的发展，该方法有望在更多实时传输应用中发挥重要作用。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) and recent compression schemes such as HAC++ enable high-fidelity real-time neural rendering, but their bitstreams are fragile under packet loss during network streaming. Existing compression methods often separate correlated anchor attributes into independent streams, so losing one packet can create attribute-inconsistent broken anchors and severe rendering artifacts. We propose a packet-loss robust 3DGS transmission and error concealment framework. On the encoder side, anchor-level atomic packaging jointly encapsulates all attributes of each anchor, converting corrupted-attribute failures into clean missing-anchor erasures. Stratified random grouping further disperses packet losses across the spatial domain to avoid large contiguous voids. On the decoder side, we formulate recovery as prior-aware attribute inpainting. A Context-Aware Residual Interpolation (CARI) branch uses hash-grid prior predictions and neighboring residuals to build a robust baseline, while a lightweight two-layer graph neural network with cross-attention over hash-grid priors refines high-frequency attribute residuals. Attribute-wise confidence control falls back to interpolation when learned predictions are unreliable. Experiments under 20 percent random packet loss on BungeeNeRF, Mip-NeRF 360, and Tanks and Temples show that the proposed method substantially improves over no-concealment transmission and limits average PSNR degradation to about 3 dB relative to the lossless HAC++ reference.