ResStreamGS: Residual-Sensitive Dual-Stream Gaussian Splatting for Mobile Volumetric Video Streaming

📄 arXiv: 2610.21121v1 📥 PDF

作者: Haoran Liu, Di Wu, Wang Luo, Hengyuan Na, Miao Hu, Guocong Quan

分类: cs.GR, cs.CV

发布日期: 2026-10-15

备注: 11 pages,9 figures

💡 一句话要点

提出ResStreamGS以解决移动体积视频流中的高质量传输问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 移动视频流 高斯点云 视频编码 残差敏感 全场景内容 实时传输 虚拟现实 增强现实

📋 核心要点

  1. 现有方法在处理复杂全场景内容时，未能有效区分时间稳定与变化的高斯，导致质量下降。
  2. ResStreamGS通过轻量级探测适配识别残差敏感高斯，并在每个GOP内重用稳定高斯，优化了视频流传输。
  3. 实验结果显示，ResStreamGS在PSNR和负载方面显著优于传统方法，提升效果明显。

📝 摘要（中文）

实时移动体积视频能够提供沉浸式自由视角体验，但在带宽和计算能力受限的情况下，传输高质量3D内容仍然面临挑战。现有的3D高斯点云系统如V$^3$通过使用商品视频编码和硬件解码来实现高效流媒体传输，但它们将所有高斯视为帧变化信号，这在全场景内容中表现不佳，尤其是在时间稳定区域。为了解决这一问题，本文提出了ResStreamGS，一个残差敏感的双流框架，根据高斯的时间行为进行处理。实验表明，ResStreamGS在复杂全场景体积视频中，相较于V$^3$基线，后编码PSNR提升了7.51至8.35 dB，减少了高达56.5%的负载，并在Qualcomm Snapdragon 778G平台上实现了30.883 FPS。

🔬 方法详解

问题定义：本文旨在解决在移动体积视频流中，由于现有方法将所有高斯视为帧变化信号而导致的质量下降问题，尤其是在时间稳定区域表现不佳。

核心思路：ResStreamGS的核心思路是根据高斯的时间行为进行处理，识别残差敏感的高斯并重用稳定高斯，以减少数据传输量和提高视频质量。

技术框架：该框架包括两个主要模块：残差敏感高斯的识别和稳定高斯的重用。通过轻量级的探测适配，框架能够在每个GOP内优化高斯的传输。

关键创新：ResStreamGS的最大创新在于其双流处理机制，能够有效区分时间稳定与变化的高斯，与现有方法的全帧处理方式形成鲜明对比。

关键设计：在设计中，采用了轻量级的适配算法来识别高斯的时间特性，并在每个GOP内仅传输稳定高斯，确保了编码效率和视频质量的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ResStreamGS在复杂全场景体积视频中，相较于V$^3$基线，后编码PSNR提升了7.51至8.35 dB，负载减少了56.5%，并在Qualcomm Snapdragon 778G平台上实现了30.883 FPS，展现了显著的性能优势。

🎯 应用场景

该研究的潜在应用场景包括虚拟现实、增强现实和移动视频游戏等领域，能够为用户提供更高质量的3D视频体验。随着移动设备性能的提升和网络带宽的增加，ResStreamGS的技术将对未来的多媒体内容传输产生深远影响。

📄 摘要（原文）

Real-time mobile volumetric video enables immersive free-viewpoint experiences, but delivering high-quality 3D content under constrained bandwidth and computation remains challenging. Recent 3D Gaussian Splatting (3DGS) systems, such as V$^3$, enable efficient mobile streaming by encoding time-varying Gaussian attributes with commodity video codecs and hardware decoding. However, existing pipelines treat all Gaussians as frame-varying signals, which is poorly suited to full-scene content where large portions remain temporally stable. Our empirical study shows that frame-wise adaptation and video coding of all Gaussians cause quality degradation in complex full-scene content, particularly in temporally stable regions. To address this issue, we propose ResStreamGS, a residual-sensitive dual-stream framework that processes Gaussians according to their temporal behavior. ResStreamGS identifies residual-sensitive primitives through lightweight probe adaptation and reuses stable Gaussians within each Group of Pictures (GOP). Stable Gaussians are transmitted once per GOP, while only residual-sensitive Gaussians remain in the frame-wise hardware-decodable video stream. Experiments on complex full-scene volumetric videos show that ResStreamGS improves post-codec PSNR by 7.51--8.35~dB over a controlled V$^3$-style all-Gaussians baseline, reduces amortized payload by up to 56.5%, and achieves 30.883~FPS on a Qualcomm Snapdragon 778G platform.