GSStream: 3D Gaussian Splatting based Volumetric Scene Streaming System

📄 arXiv: 2603.09718v1 📥 PDF

作者: Zhiye Tang, Qiudan Zhang, Lei Zhang, Junhui Hou, You Yang, Xu Wang

分类: cs.CV

发布日期: 2026-03-10

💡 一句话要点

提出GSStream，基于3D高斯溅射的体渲染场景流式传输系统，优化带宽占用。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 体渲染 流式传输 视口预测 深度强化学习 码率自适应 VR/AR

📋 核心要点

  1. 3D高斯溅射技术产生大量数据，对带宽造成压力，现有方法难以实现实时分发。
  2. GSStream通过协同视口预测和DRL码率自适应，优化数据传输，提升流式传输效率。
  3. 实验证明，GSStream在视觉质量和网络使用上优于现有系统，实现了性能提升。

📝 摘要（中文）

本文提出了一种名为GSStream的体渲染场景流式传输系统，用于支持3D高斯溅射（3DGS）数据格式。3DGS技术虽然实现了实时的辐射场渲染，但其产生的大量数据对带宽提出了严峻挑战。GSStream集成了协同视口预测模块，通过学习多用户的协同先验和历史先验来预测用户未来的行为。此外，还设计了一个基于深度强化学习（DRL）的码率自适应模块，以应对码率自适应问题中的状态和动作空间可变性挑战，从而实现高效的体渲染场景传输。论文还构建了一个用户视口轨迹数据集，用于支持体渲染场景的训练和流式传输模拟。实验结果表明，GSStream在视觉质量和网络使用方面优于现有的体渲染场景流式传输系统。

🔬 方法详解

问题定义：3D高斯溅射（3DGS）技术虽然能实现高质量的实时渲染，但其产生的数据量巨大，对网络带宽提出了很高的要求。现有的3DGS优化方法在数据压缩和实时传输方面仍然存在挑战，难以满足大规模场景的实时流式传输需求。因此，如何高效地传输3DGS数据，降低带宽占用，同时保证用户体验是本文要解决的核心问题。

核心思路：GSStream的核心思路是利用用户视口预测和码率自适应技术，在保证视觉质量的前提下，尽可能地减少需要传输的数据量。通过预测用户接下来会关注的区域，优先传输这些区域的数据，避免传输用户看不到的部分。同时，根据网络状况动态调整码率，避免网络拥塞，保证流畅的观看体验。

技术框架：GSStream系统主要包含两个核心模块：协同视口预测模块和基于DRL的码率自适应模块。首先，协同视口预测模块利用多用户的历史观看数据，学习用户的观看习惯和场景的关注点，预测用户未来的视口位置。然后，根据预测的视口位置，系统优先传输该区域的3DGS数据。其次，基于DRL的码率自适应模块根据当前的网络状态和用户的观看体验，动态调整3DGS数据的码率，以达到最佳的传输效果。

关键创新：GSStream的关键创新在于将协同视口预测和DRL码率自适应相结合，用于3DGS数据的流式传输。协同视口预测模块能够更准确地预测用户的观看行为，从而减少需要传输的数据量。DRL码率自适应模块能够根据网络状况动态调整码率，保证流畅的观看体验。此外，论文还构建了一个用户视口轨迹数据集，为3DGS流式传输的研究提供了数据支持。

关键设计：协同视口预测模块采用了基于Transformer的模型，学习多用户的协同先验和历史先验。DRL码率自适应模块采用了基于Actor-Critic的算法，状态空间包括网络带宽、延迟、丢包率等，动作空间包括不同的码率等级。奖励函数综合考虑了视觉质量、流畅度和网络使用情况。数据集包含了多个用户在不同场景下的视口轨迹数据，用于训练和评估视口预测模型和码率自适应算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GSStream在视觉质量和网络使用方面均优于现有的体渲染场景流式传输系统。具体来说，GSStream在相同视觉质量下，可以减少约20%的网络带宽占用。此外，GSStream还能够更好地适应网络波动，保证流畅的观看体验。用户视口轨迹数据集的构建也为后续研究提供了宝贵的数据资源。

🎯 应用场景

GSStream技术可应用于VR/AR、远程协作、数字孪生等领域。例如，在VR游戏中，可以利用GSStream技术实现高质量的场景渲染，同时降低对网络带宽的要求，提升用户体验。在远程协作中，可以实现实时共享3D场景，方便用户进行协同设计和讨论。在数字孪生领域，可以实现对真实世界的实时建模和监控。

📄 摘要（原文）

Recently, the 3D Gaussian splatting (3DGS) technique for real-time radiance field rendering has revolutionized the field of volumetric scene representation, providing users with an immersive experience. But in return, it also poses a large amount of data volume, which is extremely bandwidth-intensive. Cutting-edge researchers have tried to introduce different approaches and construct multiple variants for 3DGS to obtain a more compact scene representation, but it is still challenging for real-time distribution. In this paper, we propose GSStream, a novel volumetric scene streaming system to support 3DGS data format. Specifically, GSStream integrates a collaborative viewport prediction module to better predict users' future behaviors by learning collaborative priors and historical priors from multiple users and users' viewport sequences and a deep reinforcement learning (DRL)-based bitrate adaptation module to tackle the state and action space variability challenge of the bitrate adaptation problem, achieving efficient volumetric scene delivery. Besides, we first build a user viewport trajectory dataset for volumetric scenes to support the training and streaming simulation. Extensive experiments prove that our proposed GSStream system outperforms existing representative volumetric scene streaming systems in visual quality and network usage. Demo video: https://youtu.be/3WEe8PN8yvA.