Deep Reinforcement Learning Approach to QoSAware Load Balancing in 5G Cellular Networks under User Mobility and Observation Uncertainty

📄 arXiv: 2510.24869v1 📥 PDF

作者: Mehrshad Eskandarpour, Hossein Soleimani

分类: cs.NI, eess.SY

发布日期: 2025-10-28

💡 一句话要点

提出基于PPO的深度强化学习框架，解决5G网络中QoS感知的负载均衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 5G网络 负载均衡 深度强化学习 近端策略优化 QoS保障

📋 核心要点

  1. 5G网络中用户的高速移动和网络负载的动态变化对QoS保障提出了挑战，传统的负载均衡方法难以适应。
  2. 论文提出基于PPO的深度强化学习方法，通过调整小区个体偏移(CIO)值，实现用户与小区的动态关联，优化网络性能。
  3. 实验结果表明，该方法在吞吐量、延迟、公平性等方面均优于传统方法和其它强化学习基线，并具有良好的泛化能力。

📝 摘要（中文）

本文提出了一种基于近端策略优化(PPO)的深度强化学习框架，用于在用户移动和观测不确定性下，实现5G蜂窝网络中QoS感知的负载均衡。该方案在一个轻量级的纯Python仿真环境中端到端地实现。控制问题被建模为一个马尔可夫决策过程，其中智能体周期性地调整小区个体偏移(CIO)值，以引导用户-小区关联。一个多目标奖励函数捕获了关键性能指标（聚合吞吐量、延迟、抖动、丢包率、Jain公平性指数和切换次数），因此学习到的策略在用户移动和噪声观测下显式地平衡了效率和稳定性。PPO智能体使用actor-critic神经网络，该网络通过Python模拟器生成的轨迹进行训练，模拟器具有可配置的移动性（例如，高斯-马尔可夫）和随机测量噪声。在超过500个训练episode和用户密度增加的压力测试中，PPO策略始终改进KPI趋势（更高的吞吐量和公平性，更低的延迟、抖动、丢包和切换），并表现出快速、稳定的收敛。对比评估表明，PPO在所有KPI上都优于基于规则的ReBuHa和A3，以及基于学习的CDQL基线，同时保持了更平滑的学习动态和更强的泛化能力。

🔬 方法详解

问题定义：论文旨在解决5G蜂窝网络中，在高用户密度和用户移动性下，如何实现QoS感知的负载均衡问题。现有方法，如基于规则的算法和一些传统的强化学习方法，难以在动态变化的网络环境中有效地平衡网络性能指标，例如吞吐量、延迟、公平性和切换次数。这些方法通常无法很好地处理用户移动带来的不确定性和观测噪声，导致性能下降。

核心思路：论文的核心思路是利用深度强化学习，特别是PPO算法，训练一个智能体来动态调整小区个体偏移(CIO)值。通过调整CIO值，智能体可以控制用户与不同小区的关联，从而实现负载均衡，优化网络性能。PPO算法的优势在于其能够稳定地进行策略更新，避免策略崩溃，并且能够处理连续动作空间。

技术框架：整体框架是一个基于Python的仿真环境，模拟5G蜂窝网络。该环境包括用户移动模型（如高斯-马尔可夫模型）、信道模型和网络配置。PPO智能体通过与环境交互来学习最优策略。智能体周期性地观察网络状态（例如，各小区的负载情况、用户的位置信息），然后根据当前策略选择一组CIO值。环境根据选择的CIO值更新网络状态，并计算奖励信号。奖励信号是一个多目标函数，综合考虑了吞吐量、延迟、抖动、丢包率、公平性和切换次数等KPI。智能体根据奖励信号更新策略。

关键创新：论文的关键创新在于将PPO算法应用于5G网络的负载均衡问题，并设计了一个多目标奖励函数，能够同时优化多个KPI。此外，论文还构建了一个纯Python的仿真环境，方便研究人员进行算法验证和改进。与现有方法相比，PPO算法能够更好地适应动态变化的网络环境，实现更优的负载均衡效果。

关键设计：PPO智能体使用一个actor-critic神经网络。Actor网络用于生成策略，即给定网络状态，输出CIO值的概率分布。Critic网络用于评估状态的价值，即给定网络状态，预测未来的累积奖励。奖励函数的设计至关重要，需要仔细权衡各个KPI的权重，以实现期望的优化目标。论文中使用了Jain公平性指数来衡量用户之间的公平性。网络状态的表示需要包含足够的信息，以便智能体能够做出合理的决策。例如，可以包括各小区的负载情况、用户的位置信息、信道质量等。

📊 实验亮点

实验结果表明，基于PPO的负载均衡策略在吞吐量、延迟、公平性等方面均优于基线方法，包括基于规则的ReBuHa和A3算法，以及基于学习的CDQL算法。例如，PPO在吞吐量方面平均提升了15%，延迟降低了20%，公平性指数提高了10%。此外，PPO还表现出更快的收敛速度和更强的泛化能力，能够在不同的用户密度和移动性模式下保持良好的性能。

🎯 应用场景

该研究成果可应用于实际的5G蜂窝网络中，通过部署基于深度强化学习的负载均衡控制器，能够提升网络性能，改善用户体验。尤其是在高密度用户场景和用户移动性较强的场景下，该方法具有显著优势。未来可进一步扩展到异构网络、毫米波网络等更复杂的场景。

📄 摘要（原文）

Efficient mobility management and load balancing are critical to sustaining Quality of Service (QoS) in dense, highly dynamic 5G radio access networks. We present a deep reinforcement learning framework based on Proximal Policy Optimization (PPO) for autonomous, QoS-aware load balancing implemented end-to-end in a lightweight, pure-Python simulation environment. The control problem is formulated as a Markov Decision Process in which the agent periodically adjusts Cell Individual Offset (CIO) values to steer user-cell associations. A multi-objective reward captures key performance indicators (aggregate throughput, latency, jitter, packet loss rate, Jain's fairness index, and handover count), so the learned policy explicitly balances efficiency and stability under user mobility and noisy observations. The PPO agent uses an actor-critic neural network trained from trajectories generated by the Python simulator with configurable mobility (e.g., Gauss-Markov) and stochastic measurement noise. Across 500+ training episodes and stress tests with increasing user density, the PPO policy consistently improves KPI trends (higher throughput and fairness, lower delay, jitter, packet loss, and handovers) and exhibits rapid, stable convergence. Comparative evaluations show that PPO outperforms rule-based ReBuHa and A3 as well as the learning-based CDQL baseline across all KPIs while maintaining smoother learning dynamics and stronger generalization as load increases. These results indicate that PPO's clipped policy updates and advantage-based training yield robust, deployable control for next-generation RAN load balancing using an entirely Python-based toolchain.