Adaptive Cooperative Streaming of Holographic Video Over Wireless Networks: A Proximal Policy Optimization Solution

📄 arXiv: 2406.08806v1 📥 PDF

作者: Wanli Wen, Jiping Yan, Yulu Zhang, Zhen Huang, Liang Liang, Yunjian Jia

分类: eess.SY

发布日期: 2024-06-13

备注: This paper has been accepted for publication in IEEE Wireless Communications Letters

💡 一句话要点

提出基于PPO的自适应协同流方案，解决无线网络中全息视频传输的QoE优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 全息视频 无线网络 协同传输 QoE优化 强化学习 PPO算法 波束成形 比特率控制

📋 核心要点

  1. 无线网络动态性和不确定性给全息视频传输带来挑战，现有方法难以保证用户体验质量(QoE)。
  2. 提出全息视频协同流框架，通过多个接入点协同传输不同比特率的视频，优化用户QoE。
  3. 利用PPO算法设计联合波束成形和比特率控制方案，实验结果表明该方案优于现有基线方法。

📝 摘要（中文）

本文提出了一种全息视频协同流框架，用于通用无线网络，其中多个接入点可以协同地以不同的比特率向多个用户传输视频。针对全息视频流，设计了一种新的QoE指标，能够有效地概括全息视频质量、质量波动和缓冲事件。将QoE最大化问题建模为一个非凸混合整数非线性规划问题。利用近端策略优化（PPO），设计了一种联合波束成形和比特率控制方案，能够灵活地适应无线信道的波动。数值结果表明，所提出的方案优于代表性的基线方法。

🔬 方法详解

问题定义：论文旨在解决无线网络环境下全息视频流传输的QoE优化问题。现有方法难以适应无线信道的动态变化，导致视频质量波动和缓冲，影响用户体验。传统的QoE指标难以准确反映全息视频的特殊性，例如视角切换带来的影响。

核心思路：论文的核心思路是利用多个接入点协同传输不同比特率的全息视频，并根据无线信道状况动态调整波束成形和比特率，从而最大化用户的QoE。设计专门针对全息视频的QoE指标，更准确地评估用户体验。采用强化学习方法，使系统能够自适应地学习最优策略。

技术框架：整体框架包含以下几个主要模块：1) 无线网络建模，描述用户、接入点和信道之间的关系；2) 全息视频编码和传输模型，描述不同比特率的视频质量；3) QoE指标设计，综合考虑视频质量、质量波动和缓冲；4) 基于PPO的联合波束成形和比特率控制算法，通过与环境交互学习最优策略。

关键创新：论文的关键创新点在于：1) 提出了针对全息视频的QoE指标，更准确地反映用户体验；2) 将协同传输和强化学习相结合，实现了自适应的QoE优化；3) 提出了基于PPO的联合波束成形和比特率控制算法，能够有效地适应无线信道的动态变化。

关键设计：论文的关键设计包括：1) QoE指标的设计，综合考虑了视频质量、质量波动和缓冲，并针对全息视频的特点进行了调整；2) PPO算法的设计，包括状态空间、动作空间和奖励函数的设计，以及PPO算法的参数设置；3) 联合波束成形和比特率控制算法的设计，需要在波束成形和比特率之间进行权衡，以最大化QoE。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

数值结果表明，所提出的基于PPO的协同流方案在QoE方面优于代表性的基线方法。具体来说，与传统方法相比，该方案能够显著提高用户的平均QoE，并降低QoE的波动性。在不同的网络条件下，该方案均表现出良好的鲁棒性。

🎯 应用场景

该研究成果可应用于未来的无线全息视频传输系统，例如VR/AR应用、远程会议、3D游戏等。通过优化QoE，可以提升用户在这些应用中的沉浸感和体验。此外，该方法也可以推广到其他类型的视频流传输，例如高清视频、4K视频等。

📄 摘要（原文）

Adapting holographic video streaming to fluctuating wireless channels is essential to maintain consistent and satisfactory Quality of Experience (QoE) for users, which, however, is a challenging task due to the dynamic and uncertain characteristics of wireless networks. To address this issue, we propose a holographic video cooperative streaming framework designed for a generic wireless network in which multiple access points can cooperatively transmit video with different bitrates to multiple users. Additionally, we model a novel QoE metric tailored specifically for holographic video streaming, which can effectively encapsulate the nuances of holographic video quality, quality fluctuations, and rebuffering occurrences simultaneously. Furthermore, we formulate a formidable QoE maximization problem, which is a non-convex mixed integer nonlinear programming problem. Using proximal policy optimization (PPO), a new class of reinforcement learning algorithms, we devise a joint beamforming and bitrate control scheme, which can be wisely adapted to fluctuations in the wireless channel. The numerical results demonstrate the superiority of the proposed scheme over representative baselines.